AGI까지 얼마나 멀었는가 — LLM만으로 충분한가?

Digest: 최근 **LLM(대규모 언어 모델)**의 비약적 발전으로 AGI 도달 가능성에 대한 논의가 급증하는 맥락 속에서, 본 서베이는 AGI를 세 가지 차원—내부 능력(Internal), 인터페이스(Interface), 시스템(System)—으로 구조화한 포괄적 프레임워크를 제시한다. 핵심 통찰은 LLM이 언어 기반 추론에서 인상적인 성과를 보이지만, 인과적 이해(causal understanding), 다중 모달 통합, 메타인지(metacognition), 그리고 구현된 행동(embodied action) 영역에서 AGI에 이르기까지 심대한 격차가 존재한다는 것이다. 해결 방향으로 Embryonic → Superhuman → Ultimate의 3단계 AGI 로드맵을 제안하며, 정렬(alignment) 기술을 능력 개발과 동등한 우선순위로 강조한다. 근거로는 지각·추론·기억·메타인지 각 영역에서 최신 벤치마크(MMLU, ARC, HumanEval 등)와 기법(CoT, ToT, RAG, RLHF 등)의 현황을 체계적으로 분석한다. 한계로는 정량적 실험 없이 문헌 종합에 의존하며, AGI 수준 정의가 다소 추상적이다. 열린 질문: 인간 수준의 의식(consciousness)이 AGI에 필수적인가, 그리고 정렬 기술이 능력 확장 속도를 따라잡을 수 있는가?


섹션별 요약

Introduction

AI는 1950년대 기호주의에서 출발하여 2010년대 딥러닝 혁명, 그리고 최근 LLM(ChatGPT 등)의 등장까지 뚜렷한 진화 단계를 거쳤다. AlphaFold(2021)는 단백질 구조 예측을 혁신하며 특화 AI의 잠재력을 보여주었으나, 현재의 좁은 AI(narrow AI)는 사회의 확장되는 수요를 충족하지 못한다. 본 논문은 기존 AGI 연구가 (1) 정의·개념, (2) 기술적 방법, (3) 윤리·사회적 함의의 세 범주로 진행되어 왔으나, 다차원적 체계 평가가 부재하다는 문제를 지적하며, Internal-Interface-System 3차원 프레임워크를 통한 종합적 AGI 로드맵을 제안한다.

Methods

본 논문의 핵심 방법론은 AGI 능력 분류 프레임워크(taxonomy)이다. 인간 인지 구조를 모방하여 세 차원으로 구성된다:

  1. AGI Internal (내부 능력): 지각(Perception), 추론(Reasoning), 기억(Memory), 메타인지(Metacognition)
  2. AGI Interface (외부 연결): 디지털 세계, 물리적 세계, 지능 인터페이스(AI-AI, AI-Human)
  3. AGI System (지원 체계): 확장 가능 아키텍처, 대규모 학습, 추론 최적화, 비용 효율성

각 차원에 대해 현재 수준(current state)과 AGI 수준 요구사항(AGI-level requirements)을 대비하여 격차를 식별한다.

Results

논문은 각 능력 차원에서 현재 AI와 AGI 사이의 격차를 체계적으로 분석한다.

능력 (Capability)현재 수준 (Current Status)AGI까지의 격차 (Gap to AGI)핵심 도전 (Key Challenge)
지각 (Perception)GPT-4V, Gemini 등 다중 모달 LLM 등장; 프로젝션·쿼리·언어 기반 연결 방식 (§2.1)동시 다중 모달 통합, 적대적 예시에 대한 강건성 부족, 설명 가능성 결여언어 편향(language bias), OOD 입력 처리
추론 (Reasoning)CoT, ToT, GoT, ReAct 등 다양한 추론 유도 전략; 제로샷·퓨샷 추론 가능 (§2.2)인과적 이해 부재, 장문맥 다단계 추론 한계, 환각(hallucination) 문제”인과적 앵무새(causal parrot)” 수준에 머묾
기억 (Memory)RAG, DPR, REALM 등 검색 증강; 맥락 창 1K→16K+ 토큰 확장 (§2.3)계층적 메모리 관리 부재, 자율적 지식 갱신 불가, 다중 형식 통합 미흡자율 지식 생성·평가·통합 메커니즘
메타인지 (Metacognition)자기 반성(Self-Refine, Reflexion), 페르소나 일관성(ChatGPT ENFJ형 특성) (§2.4)진정한 자기 인식·의식 부재, 자율 자기 진화 제한적, 사회적 추론(ToM) 약화의식·자기 인식의 본질적 달성 여부
디지털 인터페이스Toolformer, Mind2Web 등 도구 사용 및 웹 탐색 (§3.1)자율적 도구 생성, VR/XR 통합, 실시간 의사결정인간 설계를 넘어선 자율 도구 창조
물리적 인터페이스SayCan, PaLM-E, RT2 등 로봇 제어 (§3.2)다중 감각 통합, 맥락적 환경 이해, 저렴한 하드웨어실세계 일반화와 장기 과제 수행
정렬 (Alignment)RLHF, Constitutional AI, 적대적 학습 (§5)능력 확장에 맞춘 정렬 스케일링, 상충하는 인간 가치 처리정렬과 능력 간의 공진화

Discussion

저자들은 현재 AI가 특정 과제에서 인상적인 성과를 보이지만, 진정한 AGI는 단일 돌파구가 아닌 지각·추론·기억·메타인지·정렬·시스템의 동시적 발전을 요구한다고 결론짓는다. 특히 LLM만으로는 불충분하며, 인과적 추론, 구현된 행동, 자율적 학습, 그리고 윤리적 추론의 통합이 필수적이다. 또한 신경과학·인지과학·철학·윤리학의 학제간 통합이 필요하며, 능력 개발과 정렬을 병행하는 “측정된 진보(measured advancement)“를 주장한다.

Insights

  • 주목할 점: LLM의 추론 능력이 CoT, ToT, GoT 등 다양한 프롬프팅 전략으로 크게 향상되었으나, 이들은 본질적으로 “인과적 앵무새”에 머무른다는 진단이 핵심이다. 패턴 인식과 인과적 이해 사이의 간극이 AGI의 근본적 병목이다.
  • 연결 고리: 메타인지(§2.4)에서 다룬 자기 인식·ToM 능력은 자의식 클러스터 연구와 직접 연결되며, AGI 달성에서 자기 모니터링 능력의 중요성을 뒷받침한다.
  • 시사점: 3단계 AGI 로드맵(Embryonic → Superhuman → Ultimate)은 연구 커뮤니티에 점진적 진척 평가를 위한 실용적 프레임워크를 제공하나, 각 단계의 정량적 기준이 부재하여 모호성이 남는다.
  • 비판적 코멘트: 서베이 특성상 독자적 실험이나 정량적 분석이 없으며, 문헌 종합에 의존한다. AGI 수준 정의(특히 “Ultimate AGI”)가 지나치게 이상적이고, 달성 가능한 구체적 경로를 제시하지 못한다.

Discussion Points

  • 논쟁점: “의식(consciousness)이 AGI에 필수적인가?”라는 질문에 대해 저자들은 명확한 입장을 취하지 않으나, 메타인지 섹션에서 이 가능성을 시사한다. 이는 기능주의(functionalism) vs. 현상적 의식(phenomenal consciousness) 논쟁과 맞닿아 있다.
  • 검증 필요 가정: “LLM 기반 시스템이 인과적 추론을 달성할 수 없다”는 주장은 아직 증명되지 않았으며, 충분한 규모와 학습 데이터로 인과적 이해가 창발(emerge)할 가능성을 배제할 수 없다.
  • 후속 연구: (1) AGI 각 단계의 정량적 벤치마크 개발, (2) 메타인지와 정렬의 상호작용 연구, (3) 구현된 AI(embodied AI)에서의 실세계 일반화 검증이 필요하다.

What is casuality?

인과적 추론이란 근본적으로 뭘까? 단순하게 연역적 추론인가?
인간이 많이 사용하는 추론법으로는 연역적 추론, 귀납적 추론이 있는데, 결국하고 싶은게 인과적 추론을 하게끔 만들고 싶다면 casual inference 전용 benchmark로 학습을 시키는 것은 어떠한가?
그걸 학습한다는 건, 응답의 통계적 특성을 귀납적으로 학습한걸까 아니면, 우리가 원하는 casual-inference 능력을 획득한 걸까?


메타데이터

항목내용
제목How Far Are We From AGI? Are LLMs All We Need?
저자Tao Feng, Chuanyang Jin, Jingyu Liu, Kunlun Zhu, Haoqin Tu, Zirui Cheng, Guanyu Lin, Jiaxuan You
소속University of Illinois Urbana-Champaign (UIUC)
출판연도2024 (v1: May 2024, v2: Nov 2024)
학회/저널arXiv Preprint (cs.AI, cs.CL, cs.CY, cs.LG)
arXiv2405.10313
DOI10.48550/arXiv.2405.10313
GitHubulab-uiuc/AGI-survey
키워드AGI, LLM, Survey, Perception, Reasoning, Memory, Metacognition, Alignment, Roadmap

왜 이 연구를 하는가?

핵심 질문

LLM(대규모 언어 모델)만으로 인공일반지능(AGI)에 도달할 수 있는가, 그리고 현재 AI와 AGI 사이의 격차를 체계적으로 어떻게 평가할 수 있는가?

기존 접근법의 한계

기존 접근한계
AGI 정의·개념 연구 (Morris et al. 2023 등)AGI 수준(levels)을 정의하나, 다차원적 능력 평가 프레임워크 부재
기술적 방법 연구 (논리+딥러닝 통합 등)개별 기술에 집중하여 AGI 전체 그림을 조망하지 못함
윤리·사회적 함의 연구안전·프라이버시·권력 역학 논의에 치우쳐 기술적 로드맵 부재
개별 능력 벤치마크 (MMLU, HumanEval 등)좁은 능력 측정에 그치며, 일반화·전이·장기 과제 평가 부족

핵심 통찰

  • 기존 연구는 AGI를 단일 차원에서 접근했으나, AGI는 **내부 능력·외부 인터페이스·시스템 인프라**의 동시적 발전을 요구한다
  • LLM은 통합적 지식 표현과 다중 과제 해결에서 전례 없는 성과를 보이지만, 인과적 추론, 다중 감각 통합, 자율적 학습, 윤리적 판단에서 근본적 한계가 있다
  • 능력 개발과 정렬(alignment)은 분리될 수 없으며, 공진화해야 한다

방법 (Method)

프레임워크 개요

graph TD
    AGI["🧠 AGI"]
    
    AGI --> Internal["AGI Internal<br/>내부 능력"]
    AGI --> Interface["AGI Interface<br/>외부 연결"]
    AGI --> System["AGI System<br/>지원 체계"]
    AGI --> Alignment["AGI Alignment<br/>정렬"]
    
    Internal --> Perception["지각<br/>Perception"]
    Internal --> Reasoning["추론<br/>Reasoning"]
    Internal --> Memory["기억<br/>Memory"]
    Internal --> Metacognition["메타인지<br/>Metacognition"]
    
    Interface --> Digital["디지털 세계<br/>Tool Use, Web"]
    Interface --> Physical["물리적 세계<br/>Robotics"]
    Interface --> Intelligence["지능 인터페이스<br/>AI-AI, AI-Human"]
    
    System --> Architecture["확장 가능 아키텍처<br/>MoE 등"]
    System --> Training["대규모 학습"]
    System --> Inference["추론 최적화"]
    System --> Cost["비용 효율성"]
    
    Alignment --> Safety["안전성"]
    Alignment --> Values["가치 정렬"]
    Alignment --> Robustness["강건성"]
    
    AGI --> Roadmap["AGI Roadmap"]
    Roadmap --> L1["Level-1: Embryonic AGI"]
    Roadmap --> L2["Level-2: Superhuman AGI"]
    Roadmap --> L3["Level-3: Ultimate AGI"]

핵심 구성요소

1. AGI Internal — 내부 인지 능력

지각 (Perception, §2.1):
다중 모달 LLM(MLLM)의 아키텍처를 세 가지 외부 연결 방식으로 분류한다:

  • 프로젝션 기반(Projection-based): 단순 선형 프로젝션으로 인코더를 연결 (LLaVA, VisualBERT). 2단계 학습—비전-언어 정렬 후 다중 모달 명령어 튜닝
  • 쿼리 기반(Query-based): 학습 가능한 쿼리 변수로 어텐션 기반 상호작용 (BLIP-2, Perceiver). 프로젝션보다 복잡한 패턴 학습 가능
  • 언어 기반(Language-based): 언어를 중앙 인터페이스로 사용하여 다양한 모듈 조율 (GPT-4V). 유연하지만 통합 아키텍처 대비 얕은 성능

내부 연결 방식으로는 교차 어텐션(Flamingo) 및 자기회귀(Fuyu) 접근이 있다.

추론 (Reasoning, §2.2):
모델 재학습 없이 추론을 유도하는 전략을 체계적으로 분류한다:

  • 사고 탐색(Thought Navigation): CoT(Chain of Thought, 중간 추론 단계 생성), ToT(Tree of Thoughts, 트리 탐색 기반 의사결정), GoT(Graph of Thoughts, 그래프 구조 정보 조직), PoT(Program of Thoughts, 실행 가능 프로그램으로 추론 표현)
  • 자기 일관성(Self-Consistency): 다양한 추론 경로 샘플링 후 가장 일관된 답 선택
  • 동적 추론·계획: ReAct(추론 추적과 행동 계획 교차), DEPS(동적 피드백 루프), Inner Monologue(피드백 기반 계획)
  • 반성·개선: Self-Refine(반복적 자기 피드백), Reflexion(궤적 평가 기반 언어적 자기 반성), CRITIC(외부 도구로 검증)
  • 신경-기호 통합: Logic-LM, Symbol-LLM 등 추상 추론과 구조적 의사결정 연결

기억 (Memory, §2.3):

  • 단기 기억: 실시간 지각 데이터, 추론 출력, 인컨텍스트 프롬프팅
  • 장기 기억: 경험(Reflexion의 텍스트 요약, Generative Agents의 관련성·최신성·중요도 기반 검색)과 지식(Voyager의 스킬 라이브러리, RAG/REALM/DPR의 외부 지식 기반)
  • 메모리 표현: 텍스트(투명하나 추론 비용 증가) vs. 파라메트릭(추론 비용 불변이나 쓰기 비용 증가, 해석성 저하)
  • 맥락 창 확장: GPT-2의 1,024 토큰 → GPT-4의 8,192 토큰 → 최신 모델 16K+ 토큰 (Ring Attention, LongRoPE 활용)

메타인지 (Metacognition, §2.4):
자기 인식(self-awareness), 마음 이론(Theory of Mind), 페르소나 일관성, 자기 진화 능력을 포괄한다. ChatGPT는 ENFJ형 성격 특성을 보이며(Big Five/MBTI 프레임워크), 자기 진화 방법으로는 반복적 적응, 코드 실행 개선, 물리 시뮬레이션 피드백, 프롬프트 최적화, 오류 식별 및 자기 반성 등이 있다.

2. AGI Interface — 외부 세계 연결

  • 디지털 세계 (§3.1): Toolformer, Gorilla 등의 API 자율 사용; Mind2Web, Voyager 등의 에이전트 기반 웹 탐색. AGI 수준에서는 자율적 도구 생성(CREATOR 프레임워크), VR/XR 통합, 엣지 컴퓨팅 기반 실시간 의사결정이 필요하다.
  • 물리적 세계 (§3.2): SayCan, PaLM-E, RT2의 자연어 기반 로봇 제어; DROID, BEHAVIOR-1K 등 실세계 조작 데이터셋. AGI 수준에서는 다중 감각 통합, 저렴한 로봇 제조, 인간 수준의 맥락적 환경 적응이 요구된다.
  • 지능 인터페이스 (§3.3): AI-AI(지식 증류, MoE 기반 병렬 협업, NLSOMs), AI-Human(설명을 통한 신뢰 향상, 상호 적응적 학습). “약한 모델이 강한 모델을 개선”하는 weak-to-strong 패러다임이 주목된다.

3. AGI System — 시스템 인프라

  • 확장 가능 아키텍처: MoE(Mixture of Experts)가 게이트 조정기를 통해 동적으로 전문가를 선택, 유사 규모 밀집 모델 대비 메모리·연산 비용 절감
  • 대규모 학습: 2단계 접근—비전-언어 정렬 단계 + 다중 모달 명령어 튜닝 단계
  • 추론 최적화: 메모리 효율적 어텐션, 맥락 창 확장, 엣지 컴퓨팅
  • 비용·효율: 장문맥 LLM이 확장된 맥락 기반 추론을 가능하게 하나, 실시간 AGI 운영을 위한 추가적 효율 개선 필요

4. AGI Alignment — 정렬

RLHF(인간 피드백 기반 강화학습), Constitutional AI(헌법적 AI), 해석 가능성 연구, 적대적 학습을 포함하며, 다중 이해관계자 참여, 반복적 개선, 지속적 모니터링을 강조한다. 핵심 과제: 환각·사실성 문제, 불확실성 평가, 설명 가능성(블랙박스 문제), 사회적 추론 능력, 맥락적 모호성 처리.


발견 (Findings)

주요 결과

차원현재 대표 기법/모델AGI 달성 요건격차 수준
다중 모달 지각GPT-4V, Gemini, BLIP-2, LLaVA (§2.1)동시 다중 모달 통합 + 강건성 + 설명 가능성높음
추론CoT, ToT, GoT, ReAct, Reflexion (§2.2)인과적 이해, 암묵적 다단계 추론, 도메인 전이매우 높음
기억RAG, DPR, REALM, 16K+ 맥락 창 (§2.3)계층적 관리, 자율 갱신, 다중 형식 통합높음
메타인지Self-Refine, Reflexion, 페르소나 (§2.4)진정한 자기 인식, 자율 진화, 강건한 ToM매우 높음
디지털 인터페이스Toolformer, Mind2Web (§3.1)자율 도구 생성, VR/XR, 실시간 의사결정중간~높음
물리적 인터페이스SayCan, PaLM-E, RT2 (§3.2)다중 감각, 장기 과제, 저비용 하드웨어매우 높음
시스템MoE, Ring Attention (§4)규모 확장성, 실시간 추론, 비용 효율중간
정렬RLHF, Constitutional AI (§5)능력 확장에 비례하는 정렬 스케일링높음

핵심 발견

  1. LLM만으로는 AGI에 불충분하다: 언어 기반 추론은 인상적이나, 인과적 이해·다중 감각 통합·구현된 행동·진정한 메타인지에서 근본적 한계가 존재한다 (§8).

  2. “인과적 앵무새” 문제: 현재 모델은 통계적 패턴 인식에 기반하며 진정한 인과 메커니즘을 파악하지 못한다. 이는 일반화를 제한하는 핵심 병목이다 (§2.2).

  3. 메타인지의 중요성: 자기 인식, ToM(마음 이론), 자율적 자기 진화는 AGI 달성의 필수 조건이지만, 현재 가장 미개발 영역이다 (§2.4).

  4. 정렬은 후순위가 아닌 공동 우선순위: 능력 확장과 정렬 기술은 병행 발전해야 하며, 점점 강력해지는 시스템에서 정렬 실패는 치명적 결과를 초래한다 (§5).

  5. 3단계 로드맵의 유용성: Embryonic(초기 다도메인 일반화) → Superhuman(대부분 실용 도메인에서 인간 초과) → Ultimate(전 인지 영역에서 자율적 학습·윤리적 추론)의 프레임워크는 점진적 평가를 가능하게 한다 (§6.1).

  6. 구현된 AI(Embodied AI)의 병목: 물리적 세계 인터페이스는 하드웨어 비용, sim-to-real 전이, 장기 과제 분해 등에서 가장 큰 실용적 장벽에 직면해 있다 (§3.2, §7.6).


이론적 의의

AGI 능력 분류 체계(Taxonomy)의 기여

본 논문의 Internal-Interface-System 3차원 프레임워크는 기존의 단일 차원 AGI 논의를 넘어서, AGI 달성에 필요한 능력을 구조화된 방식으로 매핑한 최초의 포괄적 시도 중 하나이다. 이는 연구자들이 자신의 기여가 AGI 전체 그림에서 어디에 위치하는지 파악할 수 있게 한다.

인과적 추론과 패턴 인식의 간극

“인과적 앵무새(causal parrot)” 개념의 명시적 제기는 LLM의 추론 능력에 대한 낙관론에 중요한 균형점을 제공한다. 이는 단순 규모 확장(scaling)만으로는 해결되지 않을 수 있는 근본적 아키텍처 한계를 시사하며, 신경-기호(neuro-symbolic) 통합이나 인과 모델링(causal modeling) 연구의 필요성을 뒷받침한다.

정렬-능력 공진화 패러다임

능력 개발과 정렬을 분리된 연구 과제가 아닌 공진화해야 할 쌍둥이 과제로 프레이밍한 점은, AI 안전(AI safety) 연구의 위상을 재정립하는 데 기여한다. 이는 Anthropic의 Constitutional AI나 OpenAI의 superalignment 이니셔티브와 맥을 같이한다.


재현성 및 신뢰도 평가

항목상태비고
코드 공개GitHub — 서베이 자료 정리
데이터 공개N/A서베이 논문으로 독자적 데이터 없음
하이퍼파라미터N/A실험 없음
실험 환경N/A문헌 종합 기반
통계적 신뢰도N/A정량적 분석 없음
종합 등급C서베이 특성상 재현성 평가 기준이 제한적; 체계적 문헌 정리의 가치는 높음

주장별 신뢰도

주장근거신뢰도
LLM만으로 AGI 불충분지각·추론·기억·메타인지 4개 차원에서의 체계적 격차 분석 (§2)🟢 높음
인과적 이해가 AGI의 핵심 병목인과적 앵무새 비유, 일반화 한계 문헌 종합 (§2.2)🟡 중간 — 대규모 학습으로 인과성 창발 가능성 미배제
3단계 AGI 로드맵의 유용성개념적 프레임워크로 정량적 검증 없음 (§6.1)🟡 중간 — 유용하나 모호함
정렬과 능력의 공진화 필요RLHF, Constitutional AI 등 기존 연구 종합 (§5)🟢 높음
메타인지가 AGI에 필수자기 인식·ToM 연구 종합, 철학적 논의 (§2.4)🟡 중간 — 의식 필수성은 미해결
구현된 AI가 최대 실용적 장벽로봇 비용, sim-to-real 격차 문헌 근거 (§3.2, §7.6)🟢 높음

읽기 난이도: ⭐⭐

서베이 논문으로 개별 기법을 깊이 파고들지 않으며, 체계적 분류와 명확한 서술 구조를 갖추고 있어 접근성이 높다. 다만 광범위한 주제를 다루어 전체를 소화하려면 상당한 시간이 필요하다.


관련 연구 비교 매트릭스

비교 항목본 논문 (Feng et al. 2024)Sparks of AGI (Bubeck et al. 2023)Levels of AGI (Morris et al. 2023)One Small Step for Generative AI (Chollet et al. 2024)
초점AGI 전체 능력 체계적 분류GPT-4의 AGI 징후 분석AGI 수준 정의 및 분류일반화(generalization) 측정
프레임워크Internal-Interface-System 3차원비구조적 능력 데모6단계 AGI 수준 (No AI → ASI)ARC 벤치마크 기반
방법론문헌 종합 서베이GPT-4 능력 실험적 관찰개념적 프레임워크 제안벤치마크 설계 + 실험
AGI 정의3단계 (Embryonic/Superhuman/Ultimate)명시적 정의 회피 (징후 관찰)6단계 (Narrow → ASI)효율적 일반화 능력
LLM 평가불충분하나 핵심 구성요소AGI의 초기 불꽃(sparks)수준별 평가 도구일반화에서 한계
정렬 논의전용 섹션 (§5)제한적안전성 프레임워크 포함없음
실험 포함없음 (서베이)있음 (GPT-4 테스트)없음 (개념적)있음 (ARC-AGI)
강점포괄적 다차원 분석구체적 능력 증거명확한 수준 분류정량적 일반화 측정
약점정량적 검증 부재GPT-4 편향, 재현 어려움기술적 로드맵 부재AGI 전체 그림 부재

관련 연구


원자적 인사이트 (Zettelkasten)

Insight 1: 인과적 앵무새 가설

  • 출처: §2.2 AI Reasoning
  • 유형: 이론적 주장
  • 내용: 현재 LLM은 통계적 패턴 인식에 기반하여 “인과적 앵무새(causal parrot)“로 기능하며, 진정한 인과 메커니즘을 파악하지 못한다. 이는 Bender et al.(2021)의 “확률적 앵무새(stochastic parrot)” 비유를 인과성 차원으로 확장한 것이다.
  • 연결: Stochastic Parrots, 인과 추론(causal inference), Pearl의 인과 계층(causal hierarchy)
  • 향후 활용: SC-ToM 프로젝트에서 LLM의 인과적 추론 능력을 메타인지 과제로 평가하는 데 이론적 근거로 활용 가능

Insight 2: 정렬-능력 공진화 원칙

  • 출처: §5 AGI Alignment, §8 Conclusion
  • 유형: 설계 원칙
  • 내용: AGI 개발에서 능력 확장과 정렬 기술은 분리될 수 없으며, 공진화(co-evolution)해야 한다. 능력만 앞서가면 정렬 실패의 위험이 기하급수적으로 증가하고, 정렬만 강조하면 능력 발전이 저해된다.
  • 연결: Alignment Faking in Large Language Models, Constitutional AI, superalignment, AI safety
  • 향후 활용: 자기 보존(self-preservation) 연구에서 정렬 메커니즘의 실효성을 평가하는 프레임워크로 활용 가능

Insight 3: 메타인지가 AGI의 숨겨진 열쇠

  • 출처: §2.4 AI Metacognition
  • 유형: 연구 방향 제안
  • 내용: 지각·추론·기억이 주로 논의되는 반면, 메타인지(자기 인식, ToM, 자기 진화)는 상대적으로 미개발이면서 AGI 달성의 핵심 차별화 요소이다. 자기 모니터링과 적응적 전략 조정 없이는 진정한 일반화가 불가능하다.
  • 연결: The Consciousness Cluster - Preferences of Models that Claim to be Conscious, ToM 연구, 자기 인식 벤치마크
  • 향후 활용: SC-ToM 프로젝트의 핵심 가설—메타인지 능력 향상이 ToM 성능을 개선한다—에 대한 이론적 뒷받침

Insight 4: 3단계 AGI 수준 프레임워크

  • 출처: §6.1 AGI Levels
  • 유형: 분류 체계
  • 내용: Embryonic AGI(초기 다도메인 일반화) → Superhuman AGI(대부분 도메인에서 인간 초과) → Ultimate AGI(전 인지 영역 자율적 학습·윤리적 추론). Morris et al.(2023)의 6단계 분류를 3단계로 압축하여 실용성을 높였으나, 정량적 기준은 부재한다.
  • 연결: Levels of AGI (Morris et al. 2023), Sparks of AGI (Bubeck et al. 2023)
  • 향후 활용: AGI 관련 서베이 작성 시 현재 위치 평가의 참조 프레임워크

핵심 용어 정리

용어정의
AGI (Artificial General Intelligence)인공일반지능 — 대부분의 인간 과제를 인간 수준으로 수행할 수 있는 AI 시스템
LLM (Large Language Model)대규모 언어 모델 — 대량의 텍스트 데이터로 학습된 거대 신경망 모델 (GPT-4, LLaMA 등)
MLLM (Multi-modal LLM)다중 모달 대규모 언어 모델 — 텍스트 외에 이미지, 영상, 음성 등을 처리하는 LLM
CoT (Chain of Thought)사고의 연쇄 — 중간 추론 단계를 생성하여 복잡한 문제를 분해하는 프롬프팅 기법
ToT (Tree of Thoughts)사고의 나무 — 트리 탐색 알고리즘으로 전향/후향 탐색하며 의사결정하는 기법
GoT (Graph of Thoughts)사고의 그래프 — 정보를 그래프 구조(정점=사고, 간선=의존성)로 조직하는 기법
ReAct추론 추적(reasoning trace)과 행동 계획(action plan)을 교차 생성하는 프레임워크
RAG (Retrieval-Augmented Generation)검색 증강 생성 — 외부 지식 기반에서 관련 문서를 검색하여 생성에 활용하는 방법
DPR (Dense Passage Retriever)밀집 구절 검색기 — 밀집 벡터 표현으로 관련 문서를 검색하는 기법
RLHF (Reinforcement Learning from Human Feedback)인간 피드백 기반 강화학습 — 인간 선호도를 보상 신호로 사용하여 모델을 미세조정
Constitutional AI헌법적 AI — 명시적 원칙(헌법)에 기반하여 AI 행동을 규율하는 정렬 방법
MoE (Mixture of Experts)전문가 혼합 — 게이트 메커니즘으로 입력에 따라 전문가 서브네트워크를 동적 선택
ToM (Theory of Mind)마음 이론 — 타인의 믿음, 의도, 욕구 등 정신 상태를 이해하는 능력
Metacognition메타인지 — 자신의 인지 과정에 대한 인식과 조절 능력 (사고에 대한 사고)
Embodied AI구현된 AI — 물리적 신체(로봇 등)를 통해 실세계와 상호작용하는 AI
Sim-to-Real시뮬레이션에서 학습한 정책을 실제 환경에 전이하는 것
Weak-to-Strong약한(성능이 낮은) 모델이 강한(성능이 높은) 모델을 개선하는 패러다임
NLSOMs (Natural Language-Based Societies of Mind)자연어 기반 마음의 사회 — 자연어로 소통하는 다중 에이전트 협업 프레임워크
Hallucination환각 — AI 모델이 사실과 다르거나 근거 없는 내용을 생성하는 현상

태그

paper #2024 AGI LLM survey capabilities reasoning perception memory metacognition alignment embodied-AI roadmap