AGI 수준 분류: AGI로 가는 경로의 진척도 측정을 위한 조작적 프레임워크
Digest: “AGI인가 아닌가”라는 이분법 논쟁 대신, 성능(0~5단계)×일반성(Narrow/General) 2차원 레벨 온톨로지와 능력과 분리된 6단계 자율성 프레임워크를 제안한다. 9개 기존 정의를 해부해 6원칙을 증류하고, 2023년 9월 기준 ChatGPT·Bard 등을 “Emerging AGI(Level 1 General)“로 위치시키며, 생태타당성을 갖춘 living benchmark의 필요를 논증한다.
먼저 이해하기
쉬운 설명
이 논문은 “AGI(인공일반지능, 인간만큼 다재다능한 AI)에 도달했다/아니다”를 흑백으로 따지는 대신, AGI를 **성능(performance, 얼마나 잘하는가의 깊이)**과 일반성(generality, 얼마나 다양한 일을 하는가의 넓이) 두 축으로 나눈 레벨 표(Table 1)를 제안한다. 자동차가 “자율주행이다/아니다”가 아니라 SAE 0~5단계로 나뉘는 것처럼, AI도 성능 0(No AI)~5(Superhuman)와 일반성 Narrow/General의 칸으로 위치를 매긴다. 각 칸은 그 일을 할 줄 아는 숙련 성인과 비교한 백분위로 정의되는데, 예를 들어 Competent는 상위 50%, Exceptional은 상위 1% 수준이고, 이 표 기준으로 2023년 9월의 ChatGPT·Bard·Gemini는 수학 같은 과제에서 아직 Emerging이라 전체적으로 가장 낮은 General 단계인 “Emerging AGI(Level 1)“에 놓인다(반면 단백질 구조를 푸는 AlphaFold는 한 분야에서만큼은 Superhuman Narrow AI다). 또 하나의 핵심은 자율성(autonomy, AI가 스스로 얼마나 알아서 행동하는가)을 능력과 따로 떼어 6단계(도구→상담사→협력자→전문가→에이전트)로 매긴 점인데, 능력이 높아지면 더 높은 자율성이 “열리긴(unlock)” 해도 자동으로 그 자율성을 줘야 하는 건 아니라는 뜻이다(레벨 5 자율주행차가 있어도 안전·재미를 위해 수동 운전을 고를 수 있는 것과 같다). 다만 이 논문은 이런 레벨을 측정할 시험(벤치마크)이 갖춰야 할 조건만 제시하고 실제 시험 문제는 만들지 않으며, “어느 비율을 통과해야 AGI인가” 같은 기준선은 열린 문제로 남겨 둔다.
왜 중요한가
“AGI인가 아닌가”라는 이분법적 논쟁은 모델 비교·정책 수립·안전성 평가를 모두 흐리게 만드는데, 이 논문은 그 자리에 성능×일반성이라는 공유 가능한 좌표계를 놓아 서로 다른 정의들(Legg·Shanahan·Suleyman은 Competent AGI, OpenAI의 노동 대체 기준은 Exceptional AGI 식으로)을 한 표 위에서 위치시킬 공통 언어를 제공한다. 특히 능력과 자율성을 분리한 덕분에, “어떤 능력의 AI가 어떤 자율성 수준으로 배치될 때 어떤 리스크가 생기는가”를 단순히 모델 성능만 볼 때보다 정밀하게 분석할 수 있게 된다 — 같은 능력이라도 도구로 쓰일 때와 자율 에이전트로 쓰일 때 리스크가 다르기 때문이다. 이 레벨 틀은 오용·정렬·구조적 리스크가 레벨별로 다르게 분포함을 보이고, Anthropic의 책임 스케일링 정책(RSP)의 AI 안전 레벨(ASL)과 접점을 가짐으로써 정책·규제 논의에 측정 가능한 기준을 댈 토대가 된다. 다만 이 효용은 어디까지나 개념 프레임워크로서의 것이며, 실제 벤치마크와 판정 기준선은 아직 후속 연구에 달려 있다는 점에서 이 논문의 기여는 “정답”이 아니라 합의를 시작할 좌표계의 제안에 있다.
먼저 알아둘 말
| 용어 | 쉬운 설명 | 정확성 메모 |
|---|---|---|
| 성능(performance) / 일반성(generality) | 성능=얼마나 잘하는가(깊이), 일반성=얼마나 다양한 일을 하는가(넓이) | Table 1의 두 직교 축. 일반성은 Narrow/General 이분법으로만 구분되며 그 사이 스펙트럼은 다루지 않음 |
| 레벨 온톨로지 | AGI를 단계별로 나눈 분류 표 | 성능 0(No AI)~5(Superhuman) × 일반성, 각 칸은 숙련 성인 대비 백분위로 정의된 최솟값 기준 |
| 자율성(autonomy) | AI가 스스로 알아서 행동하는 정도 | AGI 능력과 별개 차원(Table 2, 6단계). 능력이 자율성을 unlock하나 determine하지 않음 |
| 메타인지(metacognition) | 자기 사고를 점검·조절하는 능력(새 기술 학습, 도움 요청 시점 파악) | 저자들이 일반성 달성의 핵심 선행 조건으로 보며, 그 획득이 레벨 도약을 비선형 가속할 수 있다고 경고 |
| 생태타당성(ecological validity) | 시험이 실험실이 아닌 실제 사용 환경을 반영하는 정도 | DALL-E 2 사례(Level 3 능력이나 사용자에겐 Competent)로 그 필요가 입증됨 |
| 포지션 페이퍼(position paper) | 실험 보고가 아닌 관점·주장을 옹호하는 학술 논문 | 이 논문은 벤치마크를 제안하지 않고 그 조건만 명시함 |
| 정렬 리스크(alignment risk) | AI가 인간 의도에서 벗어나 잘못된 목표를 추구할 위험 | 오용·구조적 리스크와 함께 레벨별로 다르게 분포; 고레벨일수록 x-risk와 함께 부상 |
흐름 따라 읽기
Abstract
이 섹션은 논문 전체의 로드맵 역할을 한다. AGI(인공일반지능, Artificial General Intelligence)를 “단일 도달점”이 아니라 성능(performance, 깊이)과 일반성(generality, 넓이)이라는 두 차원의 레벨 온톨로지로 조작적 정의해야 한다는 논문의 핵심 논지를 단락 하나에 압축하고, 이어지는 9개 정의 분석 → 6원칙 증류 → 레벨 프레임워크 → 벤치마크 요건 → 자율성·리스크 논의의 전개 순서를 예고한다.
구체적으로, 저자들은 AGI 모델과 그 전 단계 시스템의 능력 및 행동을 분류하는 프레임워크를 제안한다. 이 프레임워크는 AGI의 성능·일반성·자율성(autonomy) 레벨을 도입해, 모델 간 비교, 리스크 평가, AGI 경로 상 진전 측정을 위한 공통 언어를 제공하는 것을 목표로 한다. 이를 위해 기존 AGI 정의들을 분석하고 유용한 AGI 온톨로지(ontology, 개념 분류 체계)가 충족해야 할 6개 원칙을 도출한다. 이 원칙에 따라 능력의 깊이(성능)와 넓이(일반성)에 기반한 “AGI 레벨”을 제안하고, 현 시스템이 이 온톨로지 안에서 어느 위치에 해당하는지 검토한다. 나아가 이 레벨에 맞춰 AGI 모델의 행동과 능력을 정량화할 미래 벤치마크의 요건을 논의하고, 마지막으로 자율성·리스크 등 배포 고려사항과 AGI 레벨의 상호작용을 다루면서, 고성능 AI 시스템의 책임 있는 안전한 배포를 위해 Human-AI Interaction(인간-AI 상호작용) 패러다임을 신중하게 선택할 것을 강조한다.
핵심 기여
- 성능(깊이)과 일반성(넓이) 두 차원으로 구성된 AGI 레벨 온톨로지를 제안하여 모델 비교·리스크 평가·진전 측정을 위한 공통 언어를 확립한다.
- 기존 AGI 정의들을 분석해 유용한 AGI 온톨로지가 충족해야 할 6개 원칙을 증류한다.
- 자율성(autonomy)을 AGI 능력 레벨과 분리된 별도 차원으로 도입하고, Human-AI Interaction 패러다임 선택이 안전한 배포의 핵심 변수임을 명시한다.
왜 이 연구를 하는가?
핵심 질문: AGI(인공일반지능, Artificial General Intelligence)라는 개념을 모든 연구자·정책 입안자·규제 기관이 공유할 수 있는 조작적(operationalizable) 정의, 즉 실제로 측정하고 비교할 수 있는 형태로 만들 수 있는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| 정의의 모호성 | ”인간 수준 지능”이라는 표현이 연구자마다 다른 의미로 사용되어, 어떤 이는 현 LLM(대형 언어 모델)이 이미 AGI라 주장하고, 어떤 이는 아직 수십 년이 걸릴 것으로 예측하는 등 합의된 기준이 없다. |
| 능력·자율성 혼동 | AGI의 성능/일반성 차원과 AI 시스템이 얼마나 스스로 행동하는가(자율성, autonomy)가 구분 없이 혼용되어, 리스크 평가와 모델 비교가 흐려진다. |
| 측정 불가능성 | 기존 정의 대부분이 측정·비교에 쓸 수 있는 명확한 기준을 제시하지 않아, 정책 입안자나 규제 기관이 근거로 삼을 수 없다. |
핵심 통찰
- AGI는 단일 도달점이 아니라 성능(performance)과 일반성(generality)이라는 두 차원의 연속적 레벨로 이해해야 한다.
- 자율성(autonomy)은 AGI의 능력과 분리된 독립 변수로 취급해야 리스크를 더 정밀하게 분석할 수 있다.
Introduction
이 섹션은 spine의 throughline 첫 번째 단계, 즉 “AGI에 공유 가능한 조작적 정의가 없음”이라는 근본 문제를 선언하고, 논문 전체의 포지션을 확립하는 역할을 한다. 저자들은 AGI가 왜 중요한 개념인지를 목표(Goals)·예측(Predictions)·리스크(Risks)의 세 축으로 제시한 뒤, 바로 그 중요성 때문에 조작적 정의가 필수적임을 논증한다.
저자들은 AGI를 “대부분의 과제에서 인간만큼 유능한 AI 시스템”으로 잠정 기술하면서, 전문가들 사이에서도 현 LLM(Large Language Models, 대형 언어 모델)이 이미 AGI의 “불꽃(sparks)“을 보인다는 주장(Bubeck et al., 2023)부터 약 10년 내 인간을 광범위하게 능가할 것이라는 예측(Bengio et al., 2023), 현 LLM이 이미 AGI라는 단언(Agüera y Arcas & Norvig, 2023)까지 극명하게 엇갈리는 견해가 공존함을 보인다.
목표 차원에서는 1956년 다트머스 AI 콘퍼런스(Dartmouth AI Conference) 이래 “인간 수준 지능 달성”이 암묵적·명시적 북극성 목표로 기능해 왔음을 확인한다. 예측 차원에서는 AGI가 일반성(generality)의 확장이라는 방향성 예측과 연결되고, 창발 능력(emergent abilities, 개발자가 명시적으로 의도하지 않았으나 나타나는 능력)이 노동 대체, 지정학적 함의, 새로운 산업 창출 등 사회경제적 영향으로 이어질 것으로 예측됨을 정리한다. 리스크 차원에서는 AGI가 기만·자원 축적·목표 추구·재귀적 자기 개선 등 극단적 위험의 문턱점으로 이해된다는 점을 제시한다.
이 세 축(목표·예측·리스크) 모두가 “AGI”라는 동일한 개념 위에 얹혀 있음에도, 각자가 다른 뜻으로 이 단어를 사용하기 때문에 모델 비교, 리스크 평가, 정책·규제 기준 수립이 모두 흐려진다. 저자들은 이 포지션 페이퍼(position paper, 기존 실험 결과 보고가 아닌 개념·주장 제시를 목적으로 하는 학술 형식)를 통해 AI 연구 커뮤니티가 “AGI”의 의미를 명시적으로 성찰하고, 성능(performance)·일반성(generality)·자율성(autonomy)이라는 속성을 정량화할 수 있는 공유 가능한 조작적 정의를 갖춰야 한다고 주장한다. 이를 통해 모델 간 비교, 리스크 평가·완화 전략, 정책 입안자 및 규제 기관을 위한 명확한 기준, AGI 경로 상의 진전을 이해하고 소통하는 능력이 가능해진다는 것이 이 섹션의 핵심 포지션이다.
저자가 명시한 기여
- AGI의 목표·예측·리스크 세 축에 공유 가능한 조작적 정의가 필요하다는 포지션을 선언
- 성능·일반성·자율성 세 속성의 정량화 필요성을 연구 커뮤니티 전체의 과제로 제시
- 이후 9개 기존 정의 비판 분석(Section 2)→6원칙 증류(Section 3)→레벨 온톨로지(Section 4)로 이어지는 논증 로드맵을 암묵적으로 확립
기존 정의 사례 연구: 9개 AGI 정의 분석
이 섹션은 throughline 상 두 번째 단계, 즉 “기존 9개 정의를 분석해 강·약점을 도출함으로써 2차원 레벨 온톨로지의 토대를 마련하는” 역할을 담당한다. 논문의 핵심 thesis인 “능력(capabilities)과 자율성(autonomy)을 분리한 성능×일반성 매트릭스 레벨 온톨로지”가 왜 필요한지를 기존 정의들의 구조적 한계를 통해 귀납적으로 정당화한다.
저자들은 AGI에 관한 9개의 대표적 정의를 비판적으로 검토한다.
Case Study 1 — 튜링 테스트(Turing Test): 튜링(Turing, 1950)의 “모방 게임(imitation game)“은 기계가 사람처럼 생각할 수 있는지를 대화 구별로 조작화하지만, 현대 LLM(대형 언어 모델)이 일부 변형 테스트를 통과한다는 점에서 충분하지 않음이 드러난다. 저자들은 “기계가 생각하는지(process)“보다 “기계가 무엇을 할 수 있는지(capability)“가 측정과 영향 평가에 더 적합하다고 결론짓는다.
Case Study 2 — 강한 AI와 의식(consciousness): 철학자 Searle(1980)이 기술한 “Strong AI” 개념, 즉 기계가 진정한 이해와 인지 상태를 가진다는 주장은 의식 판별에 대한 과학적 합의가 없어(Butlin et al., 2023) 실용적인 조작화가 불가능하다.
Case Study 3 — 인간 두뇌 유추: Gubrud(1997)이 제시한 초기 정의는 “인간 두뇌와 복잡도·속도에서 맞먹거나 능가하는 AI”를 요구하지만, 트랜스포머(transformer) 기반 아키텍처(Vaswani et al., 2023)의 성공이 인간 유사 과정 없이도 고성능을 달성함을 보여 주므로 두뇌 기반 프로세스 기준은 필수 조건이 아니다.
Case Study 4 — 인지 과제에서의 인간 수준 성능: Legg(2008)·Goertzel(2014)은 AGI를 “사람이 일반적으로 수행하는 인지 과제를 처리하는 기계”로 정의한다. 비신체적(non-physical) 과제에 초점을 맞추는 장점이 있으나, “어떤 과제?”·“어떤 사람?”이라는 모호성이 남는다.
Case Study 5 — 과제를 학습하는 능력: Shanahan(2015)은 AGI를 특정 과제에 특화되지 않고 “인간만큼 넓은 범위의 과제를 학습할 수 있는 AI”로 규정하며, 메타인지(metacognition, 스스로 새로운 기술을 학습하는 능력) 역량을 AGI 요건으로 명시적으로 포함시킨다는 점이 주목된다.
Case Study 6 — 경제적으로 가치 있는 작업: OpenAI 헌장(2018)은 AGI를 “대부분의 경제적으로 가치 있는 작업에서 인간을 능가하는 고도 자율 시스템”으로 정의한다. 내부 메커니즘을 묻지 않고 성능에 집중한다는 장점이 있으나, 예술적 창의성이나 감성 지능처럼 경제적 가치로 환원되기 어려운 지능 속성을 포괄하지 못하며, 잠재적 역량과 실제 배포를 혼동하는 문제가 있다.
Case Study 7 — 유연성·일반성 (“커피 테스트” 등): Marcus(2022b)는 AGI를 “신뢰성과 유연성 면에서 인간에 필적하거나 능가하는 지능”으로 정의하고, 다섯 가지 벤치마크 과제를 제안한다. 일반성과 성능을 모두 포착하며 메타인지를 요건으로 포함하지만, 과제 목록이 AGI에 충분한지는 불명확하며, 그 중 하나(임의의 주방에서 요리)는 로봇 신체성(robotic embodiment)을 전제한다는 점에서 다른 정의들과 상충한다.
Case Study 8 — 인공 유능 지능(Artificial Capable Intelligence, ACI): Suleyman(2023)은 개방형 세계에서 복잡한 다단계 과제를 수행할 수 있는 AI를 ACI로 명명하고, “10만 달러를 6개월 안에 100만 달러로 불리기”라는 “현대 튜링 테스트(Modern Turing Test)“를 제안한다. 실세계 과제의 생태타당성(ecological validity, 실제 환경을 반영하는 정도)을 중시한다는 장점이 있으나, 재정 이익만 목표로 삼아 정렬 리스크(alignment risk, AI 목표가 인간 가치와 어긋날 위험)를 유발할 수 있다는 단점이 있다.
Case Study 9 — SOTA LLM의 일반주의자 지위: Agüera y Arcas·Norvig(2023)은 GPT-4, Bard, Llama 2, Claude 등 2023년 중반 LLM이 이미 AGI라고 주장하며, 광범위한 주제 논의·제로샷/퓨샷(zero-shot/few-shot, 예시 없이 또는 소수 예시만으로 새 과제를 수행하는) 학습 능력이 충분한 일반성의 증거라고 본다. 저자들은 일반성이 핵심 요건임에 동의하면서도, 코드 작성이나 수학 풀기에서 신뢰할 만한 정확성이 없다면 일반성이 성능으로 완성되지 않는다고 반박한다.
이 아홉 사례를 관통하는 공통 교훈은 다음과 같다: (1) “어떻게 하는지(process)“가 아니라 “무엇을 할 수 있는지(capability)“가 측정 가능한 기준이 되어야 하며, (2) 일반성과 성능은 별개로 측정되어야 하고, (3) 메타인지·생태타당성·자율성 등의 차원이 단일 정의에 뒤섞이면 비교가 불가능해진다. 이 세 교훈은 다음 섹션에서 6원칙으로 증류되고, 이후 2차원 레벨 온톨로지(Table 1)의 설계 근거가 된다.
6원칙: 좋은 AGI 정의가 갖춰야 할 기준
이 섹션은 spine throughline의 세 번째 마디(“좋은 정의가 갖춰야 할 6원칙 증류”)에 해당하며, 앞서 9개 기존 정의의 강·약점을 비판적으로 검토한 결과를 규범적 기준으로 응축해 이후 레벨 온톨로지(Table 1)·벤치마크 설계·자율성 분리 논의의 이론적 토대를 제공한다.
저자들은 9개 기존 정의를 반성하며 좋은 AGI(인공일반지능, Artificial General Intelligence) 정의가 충족해야 할 6개 기준을 제시한다.
원칙 1 — 능력(Capabilities) 중심, 과정(Processes) 비중심: AGI의 정의는 시스템이 무엇을 달성할 수 있는지에 집중해야 하며, 달성 방식(예: 인간처럼 생각하는지)에는 집중하지 않아야 한다. 이에 따라 의식(consciousness, 주관적 자각)이나 감각(sentience, 감정을 가지는 능력)은 AGI의 필수 선행 조건이 아니다. 이 원칙은 잠재적으로 흥미롭지만 필수는 아닌 연구 주제와 AGI 자체를 구분하는 역할을 한다.
원칙 2 — 일반성(Generality)과 성능(Performance) 동시 고려: 기존 정의들은 일반성을 강조하지만 성능 기준을 빠뜨리는 경우가 많다. 저자들은 일반성과 성능 모두가 AGI의 핵심 구성 요소라고 주장하며, 이 두 차원의 상호작용을 포착하는 레벨 분류 체계(Section 4)를 예고한다.
원칙 3 — 인지적(cognitive)·메타인지적(metacognitive) 과제 중심, 신체적(physical) 과제 비필수: 로봇 신체성(robotic embodiment, 물리 세계에 몸을 가진 AI)을 AGI 조건으로 삼을지는 논쟁적이다. 저자들은 신체적 과제 수행 능력이 일반성을 높이기는 하지만 AGI의 필수 전제는 아니라고 본다. 반면 메타인지 능력(metacognition, 새 과제를 학습하거나 언제 인간에게 도움을 요청할지 아는 능력)은 일반성 달성의 핵심 선행 조건으로 본다.
원칙 4 — 잠재력(Potential) 중심, 실배포(Deployment) 비조건: 시스템이 일정 수준의 성능으로 요구 과제를 수행할 수 있음을 입증하면 AGI로 선언하기에 충분하며, 실세계 배포는 정의에 포함되지 않아야 한다. 배포를 조건으로 삼으면 법적·사회적 고려사항과 윤리·안전 우려 같은 비기술적 장애물이 AGI 측정에 개입된다.
원칙 5 — 생태타당성(Ecological Validity) 중심: AGI 정의를 조작화(operationalize, 측정 가능한 형태로 구체화)하려면 벤치마크 과제가 필요한데, 이 과제들은 사람들이 가치 있게 여기는 실세계 과제와 일치해야 한다(“가치”를 경제적 가치에 한정하지 않고 사회적·예술적 가치 등으로 폭넓게 해석). 자동화나 정량화가 쉬운 전통적 AI 지표는 사람들이 AGI에서 원하는 역량을 포착하지 못할 수 있으므로 지양해야 한다.
원칙 6 — 단일 종착점이 아닌 AGI 경로(Path) 중심: 자율주행의 SAE 운전 자동화 레벨(Levels of Driving Automation, 자율주행 능력을 0~5 단계로 나눈 표준)이 정책·진전 논의를 명료하게 한 것처럼, “AGI 레벨” 정의도 같은 역할을 한다. 각 레벨에는 명확한 지표·벤치마크, 해당 레벨에서 도입되는 리스크, 인간-AI 상호작용(Human-AI Interaction) 패러다임의 변화가 연결된다. 이 레벨 기반 접근법은 기존 여러 정의를 포용하는데, 예를 들어 Agüera y Arcas & Norvig(2023)의 정의는 “Emerging AGI”에, OpenAI(2018)의 노동 대체 기준은 “Exceptional AGI”에, Legg·Shanahan·Suleyman의 정의들은 “Competent AGI”에 대응된다.
AGI 레벨 온톨로지 (Table 1)
이 절은 spine의 핵심 해법 단계에 해당한다. “AGI에 공유 가능한 조작적 정의가 없음”이라는 문제(throughline 1단계)와 “6원칙 증류”(3단계)를 거친 뒤, 그 원칙들을 실제로 구현한 **2차원 레벨 온톨로지(Table 1)**를 제시함으로써 논지(thesis) 전체의 핵심 제안을 실체화하는 절이다.
저자들은 Principle 2(“일반성과 성능에 집중”)와 Principle 6(“단일 종착점이 아닌 경로에 집중”)에 근거해, AGI를 **성능(performance, 깊이)×일반성(generality, 넓이)**의 2차원 매트릭스로 분류하는 6단계 레벨 시스템을 제안한다(Table 1). 성능 축은 Level 0 “No AI”부터 Level 5 “Superhuman”까지, 일반성 축은 “Narrow(좁은 범위)“와 “General(광범위한 비신체적 과제+메타인지(metacognition, 자기 학습 능력 포함) 과제)“로 구분된다. 각 레벨은 해당 기술을 보유한 성인 표본 대비 백분위로 정의되며—예컨대 Level 2 “Competent”는 숙련 성인의 50th percentile 이상, Level 4 “Exceptional”은 99th percentile 이상—이 레벨 시스템은 시스템이 특정 과제에서는 더 높은 성능을 보일 수 있음을 명시적으로 허용하는 최솟값 기준으로 작동한다.
2023년 9월 기준 ChatGPT, Bard, Llama 2, Gemini 등 프런티어 언어 모델(frontier language model)들은 단문 에세이 작성·단순 코딩 등 일부 과제에서 “Competent” 수준을 보이나, 수학적 추론·사실성 과제 대부분에서는 “Emerging” 수준에 머물러 전체적으로 **Level 1 General AI(“Emerging AGI”)**로 분류된다. 저자들은 이러한 혼재 상황을 모델 카드(model card, AI 시스템의 능력·한계를 문서화한 표준 기술서)에 명시하도록 권고한다.
레벨 시스템의 최상단에 위치하는 Level 5 Superhuman Narrow AI의 사례로 AlphaFold(단백질 3D 구조 예측)가, Level 5 General AI 즉 ASI(Artificial Superintelligence, 인공초지능)는 아직 달성되지 않은 상태로 제시된다. 저자들은 ASI가 단순히 인간 능력의 연장이 아니라 신경 인터페이스(brain signal 분석을 통한 사고 해독), 예측 능력(대규모 데이터 분석), 동물 의사소통 등 인간이 근본적으로 수행할 수 없는 과제 영역까지 포괄할 수 있다고 논한다.
또한 저자들은 이론적 성능과 실제 배포 성능 사이의 간극을 DALL-E 2(Ramesh et al., 2022) 사례로 설명한다. 이 시스템은 분류상 “Expert Narrow AI”(Level 3)에 해당하나, 복잡한 프롬프트 인터페이스(prompting interface)로 인해 대부분의 최종 사용자에게는 “Competent” 수준으로만 발휘된다는 점은, 후속 절(Section 5)에서 논의할 생태타당성(ecological validity, 실험실이 아닌 실제 배포 환경을 반영하는 타당성)을 갖춘 벤치마크의 필요성을 예비적으로 뒷받침한다. 레벨 간 성능 진전 속도는 비선형적일 수 있으며, 특히 새로운 기술을 스스로 학습하는 능력(메타인지적 역량)의 획득이 다음 레벨로의 도약을 가속화할 수 있다고 저자들은 경고한다. 특정 인지 영역(예: 화학공학 지식)이 윤리적 추론보다 먼저 발달하는 경우 AI 안전(AI safety)에 심각한 함의를 가질 수 있다는 점도 지적된다.
AGI 테스트: 벤치마크 요건
이 섹션은 논문 전체 throughline에서 “해법(레벨 온톨로지) → 조작화(벤치마크 요건 명시)“로 이행하는 단계를 담당한다. 4절에서 제안한 성능×일반성 레벨 매트릭스(Table 1)는 그 자체로는 추상적 분류 체계이며, 이를 실제 측정 가능하게 만들기 위한 AGI 벤치마크(benchmark, 모델의 능력을 정량적으로 평가하는 시험 모음)가 갖춰야 할 성질을 이 섹션에서 논증한다.
저자들은 6원칙 중 원칙 1(능력/과정 아님), 원칙 3(인지·메타인지 과제), 원칙 4(잠재력/배포 아님), 원칙 5(생태타당성)가 모두 ‘측정 문제’에 귀결된다고 정리하며 논의를 시작한다. 이어 일반성(generality) 차원을 조작화하려면 “어떤 과제 집합을 써야 하는가”, “어느 비율을 통과해야 하는가”, “필수 과제가 있는가” 세 질문이 반드시 답해져야 하지만, 그 복잡성과 다학제적 요구를 이유로 이 논문 자체가 특정 벤치마크를 제안하지 않음을 명시한다.
대신 이상적 AGI 벤치마크가 갖춰야 할 성질을 다섯 가지 측면에서 논증한다. 첫째, 언어 지능·수학·논리 추론·공간 추론·대인·자기 내부적 사회 지능·창의성 등을 포괄하는 폭넓은 인지 과제(cognitive tasks) 모음이어야 한다. 둘째, 메타인지(metacognition, 자신의 인지 과정을 모니터링하고 조절하는 능력) 과제를 반드시 포함해야 하며, 구체적으로 (1) 새 기술 학습 능력, (2) 도움 요청 시점 파악 능력, (3) 마음 이론(theory of mind, 타인의 정신 상태를 추론하는 능력) 기반 사회적 메타인지 능력이 핵심 지표로 제시된다. 셋째, 생태타당성(ecological validity, 현실 환경을 실제로 반영하는 정도)을 확보해야 하며, 비교 기준선(baseline) 선정 시 AI 보조 도구 사용 여부를 과제 맥락에 따라 유연하게 결정해야 한다고 논증한다. 넷째, HELM(Liang et al., 2023)이나 BIG-bench(Srivastava et al., 2023) 같은 기존 벤치마크를 일부 차용하되, 개방형·상호작용형 과제를 포함함으로써 정성 평가(qualitative evaluation)까지 수용해야 함을 주장한다. 다섯째, 충분히 일반적인 지능이 수행할 수 있는 과제를 사전에 전부 열거하는 것은 불가능하므로, 새 과제를 지속적으로 추가·합의할 수 있는 living benchmark(지속 갱신 벤치마크) 형태여야 한다.
마지막으로, 어느 레벨에서 “비 AGI 판정”을 내리는 것은 시스템이 실패하는 과제 하나만 있어도 충분하지만, “AGI 판정”을 위해 통과해야 하는 과제 비율의 정확한 기준선은 아직 열린 연구 문제로 남겨 두며 — 100%가 아닐 것임은 분명하나, 어떤 비율이 일반성을 증명하기에 충분한지는 후속 연구의 과제임을 인정하면서 섹션을 마무리한다.
리스크, 자율성, 그리고 인간-AI 상호작용
이 섹션은 spine의 throughline에서 “해법(레벨 온톨로지) → 책임 배치” 단계를 담당한다. 즉, 앞서 제안한 성능×일반성 레벨 온톨로지(Table 1)가 단순한 분류 체계가 아님을 보이며, AGI 레벨을 리스크 평가 틀로 활용하고 여기에 능력(capability)과 분리된 6단계 자율성(Levels of Autonomy)을 더해 “어떤 AGI가 어떤 자율성 수준으로 배치될 때 어떤 리스크가 발생하는가”를 정밀하게 분석하는 것이 전체 논증의 실천적 귀결임을 확립한다.
6.1 리스크 평가 프레임워크로서의 AGI 레벨
AGI 레벨이 높아질수록 서로 다른 종류의 리스크가 등장한다. 오용 리스크(misuse risk), 정렬 리스크(alignment risk — AI가 인간의 의도에서 벗어나 잘못 명시된 목표를 추구하는 위험), 구조적 리스크(structural risk — 경제·사회 체계 자체를 불안정하게 만드는 위험)가 레벨별로 다르게 분포한다.
- “Emerging AGI” / “Competent AGI”: 주로 인간 행위자에 의한 오용(우발적·부수적·악의적) 리스크가 지배적.
- “Expert AGI”: 경제적 교란과 노동 대체라는 구조적 리스크가 부상하는 반면, 낮은 레벨에서의 과제 오실행 리스크는 일부 완화됨.
- “Exceptional AGI” / ASI(인공초지능, 인간을 모든 영역에서 능가하는 수준): x-risk(존재론적 리스크)와 오정렬(misalignment) 시나리오가 가장 우려되는 구간.
저자들은 레벨이 규제·외교보다 빠르게 진전될 경우 국제 관계 불안정이라는 구조적 리스크도 있음을 언급한다. 또한 위험 능력(기만·설득·첨단 생화학 수행 능력 등) 벤치마킹의 논란을 다루며, 이중 사용(dual-use) 특성을 가진 역량은 “잠재력, 배포 아님(Potential, not Deployment)“이라는 원칙 4를 적용해 샌드박스 환경에서 평가해야 한다고 주장한다. 동시에 Anthropic의 책임 스케일링 정책(RSP, Responsible Scaling Policy) v1.0과의 접점도 제시한다 — 바이오안전등급(biosafety levels)에서 영감받은 AI 안전 레벨(ASL, AI Safety Level) 체계가 본 논문의 AGI 온톨로지와 연결될 수 있다고 본다.
6.2 능력 대 자율성
핵심 주장: AGI 능력(capability)은 리스크의 필요조건이지 충분조건이 아니다. AI 시스템은 항상 특정 인터페이스·과제·시나리오·최종 사용자라는 맥락 속에서 배치되며, 이 맥락이 리스크에 결정적 영향을 미친다.
저자들은 기존 컴퓨터 자동화 분류체계(Sheridan 등)가 “설계자가 컴퓨터에 얼마나 통제권을 양도하는가”라는 컴퓨터 중심 시각에 머무른다는 한계를 지적하고, 대신 인간-AI 상호작용 방식의 성격을 기준으로 6단계 자율성 레벨(Table 2)을 제안한다.
| 자율성 레벨 | 명칭 | 해제 조건(AGI 레벨) | 대표 리스크 |
|---|---|---|---|
| 0 | No AI (인간이 전부 수행) | 해당 없음 | 현상 유지 리스크 |
| 1 | AI as a Tool (인간이 과제 완전 통제, AI는 단순 하위과제 자동화) | Competent Narrow AI 이상 가능 | 탈숙련화(de-skilling)·산업 교란 |
| 2 | AI as a Consultant (인간이 호출할 때만 AI가 실질적 역할 수행) | Expert Narrow AI / Emerging AGI 이상 가능 | 과신(over-trust)·급진화·표적 조작 |
| 3 | AI as a Collaborator (인간-AI 대등 협업, 목표·과제 쌍방 조율) | Expert Narrow AI / Competent AGI 이상 가능 | 의인화(anthropomorphization)·기생적 사회관계·급속한 사회 변화 |
| 4 | AI as an Expert (AI가 상호작용 주도, 인간은 지침·피드백 제공) | Expert AGI 이상 가능 | 사회적 무기력감·대규모 노동 대체·인간 특수성 약화 |
| 5 | AI as an Agent (완전 자율 AI) | Exceptional AGI / ASI 이상 가능 | 오정렬(misalignment)·권력 집중 |
자율성 레벨은 AGI 레벨에 의해 “해제(unlocked)“되지만, 높은 AGI 레벨에 도달했어도 특정 맥락에서는 낮은 자율성 레벨을 선택하는 것이 바람직할 수 있다. 저자들은 레벨 5 자율 주행 차량이 광범위하게 가용하더라도 교육·즐거움·자격 시험·안전 이유로 레벨 0 수동 운전을 선택할 수 있는 것과 같은 논리라고 예시를 든다(SAE International, 2021). 자율성 레벨 3~5가 잘 작동하려면 AI 시스템이 메타인지(metacognition — 언제 인간에게 도움을 구해야 하는지 스스로 파악하는 능력), 마음 이론(theory of mind — 타인의 의도·신념을 모형화하는 능력), 사회·정서적 역량을 갖춰야 한다고 본다.
6.3 인간-AI 상호작용과 리스크 평가
AGI 레벨과 자율성 레벨을 교차하면 모델 능력만 고려할 때보다 훨씬 정밀한 리스크 평가와 책임 있는 배치 결정이 가능하다. 또한 General AI에서는 일반적으로 Narrow AI보다 낮은 AGI 레벨에서 더 높은 자율성 패러다임이 해제될 수 있는데, 이는 General AI 능력 발전이 균일하지 않아 일부 과제에서 성능이 더 높게 나타날 수 있기 때문이다. 저자들은 두 연구 트랙의 병행을 강조한다: 모델 빌딩 연구(성능·일반성의 AGI 경로 진전)와 인간-AI 상호작용 연구(지능 증강(intelligence augmentation) — AI가 인간의 능력을 대체하는 것이 아니라 확장하는 방향으로 AI 시스템을 유용하게 만드는 연구).
Conclusion
이 섹션은 논문의 throughline 전체를 단일 서사로 수렴시키는 역할을 한다. 9개 정의 분석에서 출발한 논증이 6원칙→레벨 온톨로지(성능×일반성)→벤치마크 조건→자율성/리스크 분리라는 흐름을 거쳐 도달한 핵심 명제들을 재종합하되, 숫자 반복 없이 각 논증 단계가 서로 어떻게 맞물리는지를 밝힌다.
저자들은 먼저 9개 AGI 정의 분석에서 도출한 6원칙을 재요약한다: (1) 프로세스가 아닌 능력 중심, (2) 일반성(generality)과 성능(performance) 병행 고려, (3) 물리적 과제가 아닌 인지·메타인지(metacognition, 자신의 사고 과정을 모니터링하고 조절하는 능력) 과제 중심, (4) 배치(deployment)가 아닌 잠재력(potential) 기준, (5) 벤치마킹의 생태타당성(ecological validity, 현실 세계 과제와의 부합도) 확보, (6) 단일 종착점이 아닌 경로(path) 지향.
이 원칙들을 구현한 레벨 온톨로지(Levels of AGI ontology)는 일반성(Narrow/General) 축과 성능 5단계(Emerging, Competent, Expert, Exceptional, Superhuman) 축의 매트릭스로 AGI 경로상 진전을 다층적으로 측정할 수 있게 한다. 저자들은 이 온톨로지가 현행 AI 시스템의 위치를 가늠하는 데 어떻게 쓰이는지 재확인한다.
논문의 가장 중요한 명제 중 하나는 이 결론 섹션에서 명시적으로 재선언된다: “AGI는 자율성(autonomy)과 동의어가 아니다.” AGI 레벨이 올라갈수록 더 높은 자율성 레벨이 가능해지지만(unlocked), 자율성이 자동으로 결정(determined)되지는 않는다. 따라서 리스크 평가는 AGI 레벨과 자율성 레벨을 분리해 교차 분석해야 더 정밀해진다는 논지가 확인된다.
마지막으로 저자들은 프레임워크의 적응성(adaptability)과 확장성(scalability)을 강조한다. 해석 가능성(interpretability) 연구의 발전에 따라 AGI 진전 측정 방식이 변할 수 있고, 사회 자체가 AI 발전에 적응함에 따라 인간-AI 상호작용(Human-AI Interaction) 패러다임 및 관련 리스크 분석도 진화해야 한다는 열린 결론을 제시한다. 이는 논문이 단일 정답을 제시하는 것이 아니라 공유 가능한 측정 가능 정의를 위한 개방형 협력 토대를 구축하고자 함을 재확인한다.
Impact Statement & 참고문헌
Impact Statement는 이 포지션 페이퍼(position paper — 특정 관점을 옹호하는 학술 논문)가 제안하는 새로운 온톨로지(존재 범주 체계)의 목적을 한 문장으로 집약한다: AGI(인공일반지능, Artificial General Intelligence — 인간 수준 이상의 범용 인지 능력을 갖춘 AI)를 향한 진전을 미묘하게(nuanced) 논의할 수 있도록 돕고, 시스템의 능력과 관련 리스크에 관한 소통을 명확히 하는 것이 목표임을 선언한다. 감사의 글은 Google DeepMind PAGI 팀과 Martin Wattenberg, Ben Shneiderman 등 외부 연구자들의 토론 기여를 밝힌다. 참고문헌 목록은 본문 논증의 지적 기반을 이루는 문헌들을 포함하며, Turing(1950)의 컴퓨팅 기계와 지능, McCarthy 외(1955)의 다트머스 워크숍 제안서, Searle(1980)의 중국어 방 논문, Chollet(2019)의 지능 측정론, SAE International(2021)의 자동화 레벨 분류체계, 그리고 Bubeck 외(2023)의 “GPT-4의 AGI 불꽃” 실험 보고서 등 본문에서 비판적으로 검토된 9개 정의 사례 연구 및 6원칙 도출의 근거 문헌이 망라되어 있다. 참고문헌이 가진 다양성(1950년대 AI 창시 문서부터 2023년 LLM 연구까지, 철학·공학·정책·HCI 분야 포괄)은 이 논문이 기술 측면뿐 아니라 인간-AI 상호작용(Human-AI Interaction) 패러다임과 사회적 책임을 병행 강조했다는 throughline과 맞닿는다.
관련 연구 비교 매트릭스
선정 근거: “Levels of AGI” 논문은 AGI 정의·측정 프레임워크 제안이 핵심이므로, AGI 능력 증거를 경험적으로 제시한 기반 연구(GPT-4 Sparks), 리스크 평가 조작화의 기반 연구(Model Evaluation for Extreme Risks), 그리고 논문이 요청하는 “측정 가능한 AGI 벤치마크” 공간에서 직접 경쟁하는 두 ARC 계열 벤치마크 논문(ARC-AGI-2, ARC-AGI-3)을 선정하였다. “ARC of Progress” 서베이는 동일 문제 공간을 대안적 방법론(메타 분석·리빙 서베이)으로 다루는 대안 패러다임 논문으로 포함하였다.
| 축 | 본 논문 (Levels of AGI, 2023) | Sparks of AGI: GPT-4 (2023) [base] | ARC-AGI-2 (2025) [direct] | ARC-AGI-3 (2026) [direct] | The ARC of Progress (2026) [alternative] |
|---|---|---|---|---|---|
| 핵심 접근 | 성능(0~5)×일반성(Narrow/General) 2차원 레벨 온톨로지 + 자율성 분리 6단계 프레임워크 제안 (포지션/개념 논문) | GPT-4 다영역 능력 실험을 통해 “초기 AGI 불꽃” 경험적 논증; 역량 시연 + 한계 분석 | 추상 추론 과제로 유동 지능 측정; 인간 기준선 확립 + AI 성능 상한 탐색 벤치마크 | 에이전트 환경(순차 턴 기반)에서 목표 추론·탐색·계획 능력을 측정하는 인터랙티브 벤치마크 | 82개 접근법에 걸친 ARC-AGI-1/2 교차 세대 메타 분석; Chollet 지능 테제 검증 리빙 서베이 |
| 문제 정의 | AGI 용어 불일치로 모델 비교·리스크 평가·경로 진전 측정이 불가능 → 조작적 정의 필요 | 단일 AI 시스템(GPT-4)이 다양한 도메인에서 인간 수준에 얼마나 근접하는가 | 기존 ARC-AGI-1이 포화 → 더 높은 인지 복잡도 과제로 유동 지능의 미세한 차이 측정 | ARC-AGI-2도 에이전트 자율성·적응력 평가에 한계 → 명시적 지시 없이 목표를 스스로 추론해야 하는 환경 필요 | AI와 인간의 성능 격차 원인·구조를 파악하고, 기존 ARC 세대 간 성능 변화 패턴 정량화 |
| 데이터 | 실험 데이터 없음; 9개 기존 AGI 정의 사례 + 문헌 기반 논증 | 다영역 실험 프롬프트 세트 (수학·코딩·의학·법·심리 등); 비공개/비표준화 | ARC-AGI-2 벤치마크 과제 세트; 인간 피험자 기준선 포함 | ARC-AGI-3 인터랙티브 환경 과제; 인간 100% 해결 vs. 프론티어 AI <1% 기준선 | ARC-AGI-1/2에 걸친 82개 기법 결과 메타 데이터셋; 코드/서베이 사이트 공개 |
| 핵심 메트릭 | 레벨별 정성 기준 (성능 축: No/Emerging/Competent/Expert/Virtuoso/Superhuman AI; 일반성 축: Narrow/General) | 정성 역량 시연 + 도메인별 선택적 정확도 (비체계적) | 정량 정확도 (인간 기준선 vs. AI; ARC-AGI-1 대비 난이도 상승 수치) | 정량 성공률 (인간 100% vs. AI <1%); 효율성(탐색 비용) | ARC-AGI-1→2 성능 저하율 2~3x (전 패러다임 공통); 인간 근접 정확도 vs. AI 정확도 |
| 확장성 | 임의의 AI 시스템·도메인에 레벨 온톨로지 적용 가능; 벤치마크 자체는 제안하지 않아 구현 부담 없음 | GPT-4 단일 시스템에 특화; 다른 모델로 직접 확장 불가 | 과제 세트 교체·난이도 조정 가능; 에이전트 환경으로의 확장은 ARC-AGI-3에서 별도 추진 | 에이전트 환경 설계상 다양한 목표·환경으로 확장 가능; 단, 환경 설계 비용 높음 | 리빙 서베이 구조로 신규 접근법·벤치마크 버전 지속 추가 가능; 커버리지는 ARC 계열에 한정 |
| 한계 | 벤치마크 미제시(조건만 명시); 레벨 경계 기준 모호성 남아있음; 일반성 구분이 이분법적 (저자 인정 한계 포함) | 실험 체계화 부재 (재현성 낮음); AGI 주장이 특정 모델 버전에 종속; 벤치마크 대신 일화적 시연에 의존 | 유동 지능 일부만 포착; 에이전트·다회전 추론 불포함; 인간과 AI의 풀이 전략 차이 미분석 | 과제 범위가 ARC 추상 추론에 여전히 한정; 언어·지식 배제 설계가 실세계 AGI와 괴리 가능 | ARC 계열 외 벤치마크 미포함; 메타 분석이므로 새 방법론 자체를 제안하지 않음 |
| 코드 공개 | N/A | N/A | N/A | N/A | https://nimi-ai.com/arc-survey/ |
원자적 인사이트
능력과 자율성의 분리: 리스크는 능력만으로 결정되지 않는다
출처: Morris et al., 2023 (arXiv:2311.02462)
유형: 이론적
AGI의 능력(성능×일반성)과 자율성(AI가 얼마나 스스로 행동하는가)을 별개 차원으로 분리하면, “어떤 능력의 시스템이 어떤 자율성 수준으로 배치되는가”의 교차로 리스크를 분석할 수 있다. 능력은 높은 자율성을 “해제(unlock)“하지만 그것을 강제하지 않는다 — 레벨 5 자율주행차가 가용해도 안전·교육·재미를 위해 수동 운전(레벨 0)을 고를 수 있는 것과 같다. 따라서 리스크는 능력의 필요조건일 뿐 충분조건이 아니며, 배치 맥락(인터페이스·과제·사용자)이 결정적이다.
핵심 조건/맥락: 자율성 레벨 3~5가 안전하게 작동하려면 시스템이 메타인지·마음 이론·사회정서 역량을 갖춰야 한다는 전제가 붙는다.
연결: SAE 운전 자동화 레벨, 책임 스케일링 정책(RSP)
활용 가능성: AI 배포 거버넌스 설계 시 “능력 게이트”와 “자율성 게이트”를 분리한 이중 평가 체크리스트로 활용 가능.
측정의 기준은 process가 아니라 capability여야 한다
출처: Morris et al., 2023 (arXiv:2311.02462)
유형: 방법론적
9개 기존 정의를 관통하는 첫 교훈은, AGI를 “기계가 인간처럼 생각하는가(process)“로 정의하면 의식·이해 같은 과학적 합의가 없는 개념(Searle의 Strong AI, Butlin et al. 2023)에 의존해 측정이 불가능해진다는 것이다. 대신 “무엇을 할 수 있는가(capability)“를 기준으로 삼으면, 트랜스포머가 인간 유사 과정 없이도 고성능을 내는 현실(Case Study 3)과도 정합하며 측정·영향 평가가 가능해진다. 이것이 레벨 온톨로지가 백분위 기반 성능 측정을 채택한 근거다.
핵심 조건/맥락: 이 선택은 의식·sentience 연구가 무가치하다는 뜻이 아니라, AGI의 정의에서 필수 선행조건이 아니라는 원칙 1의 주장이다.
연결: 튜링 테스트, 중국어 방 논증
활용 가능성: 새 AI 역량 평가 프레임 설계 시 “내부 메커니즘 가정”을 배제하고 행동 기반 지표로 환원하는 출발점.
이론적 능력과 배포 성능의 간극: DALL-E 2 사례
출처: Morris et al., 2023 (arXiv:2311.02462)
유형: 실험적
DALL-E 2는 분류상 Expert Narrow AI(Level 3)에 해당하지만, 복잡한 프롬프트 인터페이스 탓에 대부분의 최종 사용자에게는 Competent(Level 2) 수준으로만 발휘된다. 이 간극은 모델의 내재적 능력과 실제로 사용자가 끌어낼 수 있는 성능이 다를 수 있음을 보여 주며, 실험실 지표가 아니라 실제 배포 환경을 반영하는 생태타당성(ecological validity) 벤치마크가 필요하다는 주장의 구체적 근거가 된다.
핵심 조건/맥락: 이는 인간-AI 상호작용(인터페이스) 연구가 모델 빌딩 연구와 병행되어야 한다는 결론부 논지로 직접 이어진다.
연결: 지능 증강(intelligence augmentation), Human-AI Interaction 패러다임
활용 가능성: AI 제품 평가 시 “벤치마크 점수”와 “실사용 도달 성능”을 분리 측정하는 이중 지표 도입 근거.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| AGI (인공일반지능, Artificial General Intelligence) | 대부분의 인지 과제에서 인간 수준 이상의 범용 능력을 갖춘 AI. 이 논문은 이를 성능×일반성 레벨로 조작적 정의한다. |
| ASI (인공초지능, Artificial Superintelligence) | 일반성 축의 General × 성능 Level 5(Superhuman)에 해당하는, 인간을 모든 영역에서 능가하는 미달성 단계. 신경 인터페이스·동물 의사소통 등 인간이 근본적으로 못 하는 과제까지 포괄할 수 있다. |
| 성능(performance) | AGI 능력의 깊이 축. 숙련 성인 대비 백분위로 측정되며 Level 0(No AI)~5(Superhuman)로 나뉜다. |
| 일반성(generality) | AGI 능력의 넓이 축. Narrow(좁은 범위)와 General(광범위한 비신체적 과제+메타인지 과제)로 구분된다. |
| 자율성 레벨(Levels of Autonomy) | AI가 스스로 행동하는 정도를 인간-AI 상호작용 성격 기준으로 나눈 6단계(Table 2): Tool→Consultant→Collaborator→Expert→Agent. 능력과 분리된 별개 차원이다. |
| 메타인지(metacognition) | 자신의 인지 과정을 모니터링·조절하는 능력. 새 기술 학습, 도움 요청 시점 파악, 마음 이론 기반 사회 인지를 포함하며 일반성 달성의 핵심 선행 조건이다. |
| 생태타당성(ecological validity) | 벤치마크 과제가 실험실이 아닌 실제 사용 환경과 사람들이 가치 있게 여기는 과제를 반영하는 정도. |
| 포지션 페이퍼(position paper) | 실험 결과 보고가 아니라 특정 관점·주장을 옹호하는 것을 목적으로 하는 학술 논문 형식. |
| living benchmark (지속 갱신 벤치마크) | 충분히 일반적인 지능의 과제를 사전에 전부 열거할 수 없으므로, 새 과제를 지속적으로 추가·합의해 가는 형태의 벤치마크. |
| 오용·정렬·구조적 리스크 | AGI 레벨별로 다르게 분포하는 세 리스크 유형 — 인간의 악의·부주의에 의한 오용, AI 목표가 인간 의도와 어긋나는 정렬 실패, 경제·사회 체계 자체를 불안정화하는 구조적 위험. |
태그
paper #2023 AGI levels-of-agi operationalization autonomy AI-safety benchmark human-AI-interaction
BibTeX
@article{morris2023,
title={Levels of {AGI} for Operationalizing Progress on the Path to {AGI}},
author={Morris, Meredith Ringel and Sohl-Dickstein, Jascha and Fiedel, Noah and Warkentin, Tris and Dafoe, Allan and Faust, Aleksandra and Farabet, Clement and Legg, Shane},
journal={arXiv preprint arXiv:2311.02462},
year={2023},
url={https://arxiv.org/abs/2311.02462},
eprint={2311.02462},
archivePrefix={arXiv}
}관련 연구
- Sparks of AGI - GPT-4 — 본 논문이 “Emerging AGI” 분류의 경험적 근거이자 비판적 검토 대상(Case Study 기반)으로 다루는 기반 연구. GPT-4의 다영역 능력 시연을 레벨 온톨로지가 측정 가능한 좌표 위에 재배치한다.
- ARC-AGI-2 — 본 논문이 요청한 “측정 가능한 AGI 벤치마크” 공간에서 유동 지능을 정량화하는 직접 경쟁 벤치마크. 일반성 축의 조작화 문제에 구체적 해답을 시도한다.
- ARC-AGI-3 — 에이전트 환경에서 목표 추론·계획을 측정함으로써 본 논문의 자율성 레벨(특히 Collaborator~Agent)과 메타인지 요건을 실측 영역으로 끌어오는 인터랙티브 벤치마크.
- The ARC of Progress — 동일 문제 공간(AGI 진전 측정)을 리빙 서베이·메타 분석이라는 대안 방법론으로 다루며, 본 논문의 living benchmark 제안과 방향을 공유한다.