원본 아이디어 메모
C0-C1-C2 Theory(GNWT - Global Neuronal Workspace Theory) 논문에서 결론적으로 말하는 건, 의식은 C1, C2 level로 현재 구현된 단순 attention이랑 FFN을 반복해서 쌓는 구조는 단순 고도의 C0에 불과하다는 것. C1은 C0 더미 속에서 특정 소스를 뽑고, broadcasting 및 global workspace에 올려서 계속 사용할 수 있게 해야 한다.
MoE와 부분적 유사성을 느꼈고, 약간의 ensemble처럼 구현되어야 의식을 구현할 수 있을 것 같다. 제안: MoE 학습된 모델에 Expert 간 path를 연결해주자. 신경학적으로는 synapse를 freeze하게 사용하는 게 있고, active하게 사용하는 걸 두자는 것.
배경 이론 요약
| 개념 | 설명 |
|---|---|
| C0 | 무의식적 정보처리 — 현재 transformer의 attention+FFN 반복 |
| C1 | Global Workspace — 특정 정보를 선택해 전역 broadcasting |
| C2 | Self-monitoring, metacognition |
| MoE | Sparse activation, gating mechanism으로 expert 선택 |
3인 과학자 종합 평가
1. Novelty 평가 — 공통 결론
| 측면 | 평가 | 근거 |
|---|---|---|
| ”MoE + GWT 결합” | 선점됨 | Goyal & Bengio (ICLR 2022) — shared workspace로 이미 구현 |
| ”Expert 간 sequential path” | 선점됨 | Chain-of-Experts (arXiv:2506.18945, 2025) — relay race 방식 |
| ”Frozen vs Active path” | 선점됨 (부분적) | EWC, PathNet (2017) — weight importance 기반 selective freezing |
| C0-C1-C2를 MoE에 명시적 매핑 | Gap 존재 | 이 특정 framing은 아직 없음 |
| MoE expert path에 plasticity 제어 | Gap 존재 | CoE도 plasticity 구분은 안 함 |
2. 핵심 문제점 — 3인 공통 지적
Feynman: “Expert 간 path 연결”은 C1이 아닐 수 있다. C1의 핵심은 경쟁적 선택 + 전역 broadcasting인데, peer-to-peer connection은 그냥 lateral communication이다. Shared workspace가 있어야 진짜 C1.
Hinton: MoE에 path를 추가할수록 sparse activation 이점이 사라진다 — 결국 dense model로 회귀하는 위험. Training stability 문제 (inter-expert gradient flow).
Bengio: “왜 workspace가 아니라 direct path인가?”에 대한 이론적 정당성이 약하다. GWT에서 module들은 workspace를 통해 소통하지, 서로 직접 대화하지 않는다. 현재 MoE의 expert가 인과적으로 의미 있는 단위인지도 보장되지 않음.
3. Cargo Cult Science 위험 (Feynman)
“의식 이론을 빌려왔지만, 실제로 제안하는 computation은 ‘expert 간 connection 추가’다. 이건 의식 이론 없이도 동기 부여할 수 있는 아이디어다.”
Cargo Cult가 아니려면:
- Expert 간 path로 어떤 새로운 computation이 가능해지는지 명시
- 그것이 C1 정의와 구체적으로 대응되는지 증명
- 실험적으로 검증 가능한 operational definition 제시
4. 구현 난이도 — 3인 합의
| 수준 | 난이도 | 설명 |
|---|---|---|
| Path 연결 코드 자체 | 쉬움 | Linear layer 추가, forward pass 수정 |
| Training stability 확보 | 중간 | Load balancing + inter-expert gradient 문제 |
| Frozen/Active 결정 메커니즘 | 어려움 | Heuristic이면 의미 없고, 학습이면 meta-learning 필요 |
| ”의식 구현” 검증 | 매우 어려움 | C1의 operational definition부터 필요 |
연구실 규모 (단일 GPU 클러스터)에서 가능: 4-8 expert, 100M-1B parameter PoC
5. 3인의 개선 제안 종합
Feynman: Goyal & Bengio (2022)를 읽고 거기서 빠진 게 뭔지 찾아라. “C1-inspired inductive bias가 특정 task에서 이점을 준다”로 겸손하게 framing해라.
Hinton:
- Plasticity control이 핵심 차별화 — CoE도 없는 부분
- Binary frozen/active가 아닌 연속적 learning rate meta-learning 고려
- CKA/RSA로 representation 분석 — 정확도만으로는 부족
Bengio (가장 구체적):
- 방향 A: Direct path 대신 lightweight shared workspace를 MoE에 추가 → GWT와 이론적 정렬
- 방향 B (추천): Hierarchical workspace — expert 부분집합끼리 local workspace 공유, 필요시 global workspace로 escalation → “C0-C1 경계”를 자연스럽게 모델링
6. 필수 선행연구
| 논문 | 관련성 |
|---|---|
| Goyal & Bengio (ICLR 2022) “Coordination Among Neural Modules Through a Shared Global Workspace” | 직계 선행연구 — 반드시 읽어야 |
| Bengio (2017) “The Consciousness Prior” | 이론적 뿌리 |
| Goyal et al. (2019/2021) Recurrent Independent Mechanisms (RIM) | 모듈 + sparse communication |
| Chain-of-Experts (arXiv:2506.18945, 2025) | MoE expert 간 연결의 최신 연구 |
| VanRullen & Kanai (2021) “Deep Learning and the GWT” | Global Latent Workspace |
| EWC — Kirkpatrick et al. (2017) “Overcoming Catastrophic Forgetting” | Selective weight freezing |
최종 결론
“해볼 만한 아이디어이나, 현재 형태로는 선점당한 부분이 많다.”
차별화 가능한 방향:
- Hierarchical workspace + MoE (Bengio 방향 B) — genuinely novel
- Plasticity-controlled inter-expert path — CoE에 없는 각도
- C0-C1-C2를 MoE 설계 원칙으로 체계적 분석 — framing의 novelty
다음 스텝: Goyal & Bengio (2022) 정독 → gap 식별 → toy experiment 설계