AGI에서 ASI로

Digest
오늘날 가장 큰 불확실성 중 하나는 인간 수준 AGI(거의 모든 영역에서 중앙값 인간에 필적하는 일반지능)에 도달한 뒤 무엇이 오는가다. Google DeepMind의 이 foresight 보고서(Genewein·Hutter·Legg 외)는 미래가 본질적으로 예측불가함을 인정하면서도, AI가 정확히 인간 수준에서 멈출 가능성은 낮다고 본다(Context).

저자들의 핵심 통찰은 AGI→ASI(거의 모든 영역에서 인간 전문가 집단을 능가하는 일반지능; AlphaFold·AlphaGo 같은 좁은 초인 시스템은 ASI가 아님) 전환을 단일 step-change(단번의 도약)나 하나의 timeline으로 그리지 말고, Universal AI(AIXI라는 계산불가능한 이론적 최적 에이전트로 형식화된 지능의 상한) 아래에서 진행되는 네 가지 병렬 경로로 봐야 한다는 것이다(Insight).

이 통찰은 ASI를 디지털 지능의 6대 우위(I/O·내부처리 속도, working memory, substrate independence(기질 독립성), lossless replication(무손실 복제), 고대역폭 경험공유; Table 1)로 특성화한 뒤, ①compute·model·data 스케일링 ②알고리즘 패러다임 전환 ③재귀적 자기개선(recursive self-improvement) ④다중에이전트 집단 형성이라는 네 경로와 각 병목을 ‘friction(느려질 뿐)인지 fundamental blocker(멈추게 하는 근본 장벽)인지’ 판정하는 연구 어젠다로 자연스럽게 이어진다(Solution).

근거로 effective compute가 하드웨어 1.5× × 투자 2.5× × 알고리즘효율 3~6×로 연 약 10× 증가하고, AI population은 연 약 25× 스케일하며(MacAskill & Moorhouse 2025), 거대 predictor의 log-loss pretraining이 universal compression의 자원제약 근사로서 현 패러다임이 이론상 ASI까지 닿을 수 있다는 비결정적 가설을 제시한다 — Bostrom(2014)의 단번의 takeoff나 Kurzweil의 Singularity식 단일 timeline과 달리 정량 예측 대신 경로·병목 프레이밍을 택한다(Evidence).

ASI조차 전지전능하지 않고 물리·복잡도·논리 한계에 묶인다고 못박는다(Table 2)(Limitations). 결국 양적 스케일링만으로 충분한지, 각 병목이 friction인지 blocker인지, intelligence explosion(지능 폭발)이 일어날지는 모두 열린 질문으로 남으며, 저자들은 Turing을 인용해 “멀리는 못 봐도, 해야 할 일은 충분히 보인다”고 맺는다(Open Questions). 📎 https://arxiv.org/abs/2606.12683

먼저 이해하기

쉬운 설명

AGI(인간 수준의 범용 지능) 다음에 올 ASI(인간 전문가 집단을 거의 전 영역에서 능가하는 범용 지능)가 어떻게 올 수 있는지를 정리한 Google DeepMind의 전략·이론 보고서다. 저자들은 “언제”를 못 박는 대신 ASI로 가는 길을 네 갈래로 나눈다.

compute·data 스케일링,
알고리즘 패러다임 전환,
recursive self-improvement(AI가 스스로를 개선해 더 나은 AI를 만드는 되먹임),
그리고 다중에이전트 집단이다.

이 모든 경로의 천장은 Universal AI/AIXI(모든 계산가능 환경에서 최적으로 행동하지만 계산 자체는 불가능한 이론적 에이전트)로 두며, AIXI는 닿을 수 없어도 아래에서 근사해 가는 기준선 역할을 한다. 한 가지 핵심 주장은 오늘날 거대 모델의 log-loss pretraining(다음 토큰을 잘 맞히도록 압축을 학습하는 사전학습)이 사실상 이 이론적 압축의 자원제약 근사라는 것이고, 그래서 현 패러다임만으로도 이론상 ASI까지 갈 수 있다는 가설이 열린다. 다만 이는 “갈 수도 있다”는 비결정적 가설이며, data wall(학습 데이터 고갈)이나 abstraction barrier(추상 개념을 스스로 발견하는 벽) 같은 6대 병목이 단지 속도를 늦추는 friction인지 아예 멈추게 하는 blocker인지는 아직 미해결이다. 수치로는 effective compute(하드웨어·투자·알고리즘효율을 곱한 실효 연산량)가 연 약 10×, AI population이 연 약 25× 늘 수 있다고 추정하지만, ASI라도 전지전능은 아니며 물리·복잡도 한계에 묶인다고 분명히 한다.

왜 중요한가

이 보고서의 가치는 “ASI가 언제 온다”는 예언이 아니라, 그 논의를 검증 가능한 연구문제로 바꿔 놓은 데 있다. 저자들은 단일 timeline(하나의 도달 시점 예측)을 피하고, 대신 각 경로의 병목이 friction인지 fundamental blocker인지를 묻는 7개 연구 테마(병목 규명, 정량 예측, ASI 벤치마킹, 재귀적 개선 동역학, 다중에이전트 스케일링, 이론적 기초, 안전·정렬)로 어젠다를 제시한다. 또한 ASI를 신비화하지 않고 Universal AI/AIXI라는 명시적 상한과 물리·복잡도·논리 한계(Table 2) 안에 묶음으로써, “전지전능한 초지능” 식 과장과 “아무 일도 없을 것”이라는 안일함을 동시에 견제한다. 다만 이는 실험이 없는 이론·전략 보고서이므로, 제시된 수치와 시나리오는 검증된 예측이 아니라 추정과 프레이밍으로 읽어야 한다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
AGI	중앙값(평범한) 인간 수준에 도달한 범용 지능	좁은 특화 AI는 제외; “중앙값 인간” 기준은 정의상 선택된 것(Remark)
ASI	인간 전문가 집단을 거의 전 영역에서 능가하는 범용 지능	AlphaFold/AlphaGo 같은 narrow 초인은 ASI 아님 — “거의 모든 영역” 조건이 필수
Universal AI / AIXI	이론상 최적인 가상의 만능 에이전트(천장 역할)	계산 불가능해 실제로는 아래에서 근사만; 도달이 보장되지는 않음
Legg-Hutter score	지능을 하나의 연속 척도로 보는 측정값	progress는 이 점수의 증가로 정의; AIXI가 그 상한
effective compute	하드웨어×투자×알고리즘효율을 곱한 실효 연산량	연에 약 10×는 추정치이며 “충분히 오래 지속 가능한가”가 진짜 쟁점
recursive self-improvement	AI가 스스로를 개선하는 되먹임	물리 실험·검증이 속도를 늦추는 dampening으로 작용할 수 있음
friction vs fundamental blocker	그냥 느리게 하는 마찰 vs 아예 멈추게 하는 근본 장벽	6대 병목 각각이 어느 쪽인지가 이 글의 핵심 open question
intelligence explosion	자기개선이 폭발적 성장(hyperbolic growth)으로 이어지는 시나리오	배제할 수 없으나 보장도 아님 — 자연계는 흔히 S-curve로 꺾임

흐름 따라 읽기

논지 흐름(throughline): 미래는 예측 불가(서론) → 디지털 지능의 우위·한계로 ASI 특성화 → Universal AI/AIXI로 지능의 이론적 상한 정립 → 네 가지 병렬 경로와 그 병목 → 예측의 중심 난점(Remarks) → 연구 어젠다와 결론.

Introduction: Life as we don’t know it?

이 서론(§2, “Introduction: Life as we don’t know it?“)은 보고서 전체의 출발점으로서 ‘미래는 예측 불가’라는 근본적 불확실성을 제기하고, AGI(artificial general intelligence, 범용 인공지능) 이후 지능 성장의 속도·메커니즘·한계를 규정하는 세 가지 성장 인자와 재귀적 자기개선 가능성을 소개함으로써, 뒤따르는 네 가지 기술 경로·병목·연구 어젠다 논의의 지형을 설정한다.

미래의 예측 불가와 AI 진보 속도. 보고서의 주목표는 인간 수준 AGI를 넘어선 AI 진보의 지형을 살피고, 그 진보를 늦추거나 멈출 수 있는 마찰(frictions, 병목 요인)을 파악하는 것이며, 이 마찰의 영향을 규명하는 일이 구체적인 열린 연구 문제들로 이어진다. 지난 10년간 AI 분야는 전례 없는 규모의 컴퓨팅 자원·연구자·자본이 투입되며 급속히 발전해 왔고, 이러한 추세를 외삽(extrapolation)하면 과학 소설처럼 들리는 예측들이 나온다(Aschenbrenner, 2024; Kokotajlo et al., 2025; MacAskill and Moorhouse, 2025). AGI는 경제·교육·과학·정치·사회 상호작용 등 거의 모든 인지 활동 영역에 적용 가능한 만능 기술(pluripotent technology)로서 급격한 사회 변화를 야기할 수도 있고, 또는 “일반 기술”(Narayanan and Kapoor, 2025)에 그칠 수도 있다. AI 진보 속도를 분해하면 세 가지 성장 인자가 있다. 첫째, 하드웨어 제조 개선(“Moore’s law” 및 관련 기술)이 달러당 연산량을 약 1.5× per year 높여왔다. 둘째, 컴퓨팅 인프라에 대한 투자가 약 2.5× per year 증가했다. 셋째, 알고리즘 효율(algorithmic efficiency, 동일 성능 달성에 필요한 연산량)이 약 3× per year — AlexNet의 ImageNet 2012 성능에 도달하는 데 필요한 FLOPs가 Moore’s law의 약 두 배 속도로 감소한 것을 기준으로(Erdil and Besiroglu, 2022; Hernandez and Brown, 2020) — 에서 현대 AI 모델 기준으로는 약 6× per year(Ho et al., 2025)씩 개선되었다. 세 인자를 곱하면 effective compute(유효 연산량, 알고리즘 개선까지 반영한 실질 연산력; Aschenbrenner, 2024)가 약 10× per year, 즉 연간 한 자릿수 order(자릿수)로 성장한다는 보수적 추정치가 도출된다(Epoch AI, 2023). 이 10×는 공개된 추정들의 하한이며 실제 비율은 더 높고 가속 중일 수 있다.

Is the Singularity near? — 양적 스케일링과 새로운 역량 획득의 불확실성. 현재 성장률이 얼마나 지속될 수 있는지는 불분명하다. 한편으로는 특정 분야에서 일정한 연구 성과를 유지하려면 경제적 투입이 지수적으로 늘어야 한다는 구조적 제약이 있고(Bloom et al., 2020), 다른 한편으로는 테크 랩들이 훈련·서빙 비용을 줄이기 위해 전례 없는 규모의 조율된 노력을 기울이고 있어, 투자나 하드웨어 개선이 둔화되더라도 effective compute의 지수 성장이 10년은 더 유지될 수 있다. 그러나 보다 근본적인 불확실성은 effective compute의 증가가 AI 역량(capabilities)의 프런티어를 실제로 어떻게 확장하는가—새로운 역량을 열어주는가—이다. 수익 체감(diminishing returns)이 크면 역량은 선형 성장에 그칠 수 있고, 반대라면 지수적 역량 성장이 가능하다. scaling laws(스케일링 법칙; Kaplan et al., 2020)는 초선형(super-linear) 단계 이후 결국 정체(plateau)가 온다고 시사하며, 단순 스케일링 법칙이 성립하지 않는 사례도 존재하고(Caballero et al., 2023), benchmark stitching(이기종 모델·벤치마크 기반 역량 외삽 프레임워크; Ho et al., 2025)은 이러한 외삽을 보다 견고하게 만든다. 나아가 개별 최첨단 모델의 신규 역량 획득이 완전히 정체하더라도, effective compute의 지속 성장은 훨씬 많은 model instances(모델 인스턴스, 동시에 구동되는 사본 수)와 더 빠른 추론을 가능하게 하여, 순수한 양적 스케일링이 질적으로 새로운 역량처럼 보이는 응용을 열 수 있다. 구체적 시나리오로, AGI의 기반 모델 진보가 멈추었어도 effective compute가 10×씩 계속 증가한다면 처음에 1,000개이던 인스턴스가 1년 후 10,000개, 5년 후 **1억(100 million)**개(또는 100만 인스턴스가 100배 빠르게)로 늘어날 수 있다. 이 순수한 양적 스케일링이 ASI(artificial general superintelligence, 인간 집단을 광범위한 과제에서 압도하는 범용 초지능)를 가져올 수 있는지, 그리고 언제 그렇게 될지가 핵심 열린 질문으로 남는다.

재귀적 자기개선과 hyperbolic growth의 가능성. AI 시스템이 AI 연구 자체를 가속할 수 있다면 — 즉 더 빠르고 유능한 AI가 더 나은 AI를 만들어내는 재귀적 개선 루프(recursive improvement loop)가 형성되면 — hyperbolic growth(초지수적 성장, 성장률 자체가 양에 따라 증가하는 역학, 지수 성장과 달리 성장률이 고정되지 않음)가 발생할 수 있다. 이 역학의 이론적 극단이 Singularity(특이점, 유한 시간 내에 무한 성장에 도달하는 수학적 결과)이며, Ray Solomonoff(Solomonoff, 1985)가 처음 논의하였고 Kurzweil(2005, 2024)이 두 권의 저서에서 발전시켰다. 그러나 자연 유한 시스템에서는 마찰과 경계 조건이 특이점 이전에 성장률을 낮추어 S-shaped curve(S자형 성장 곡선)를 만드는 것이 일반적이다(Thorstad, 2024). AI 연구 자동화의 경우, 이러한 마찰이 언제 어떻게 작동하는지는 알려지지 않았으며, 이를 정량적으로 추적하는 것이 AI 진보 예측·조향에 불균형적으로 큰 이점을 가져올 수 있다고 저자들은 제안한다.

Navigating uncertainty — 예측의 난점, 그리고 측정·모델링·예측의 독립 연구분야화. AI 진보를 예측하는 일은 악명높이 어렵고 불확실성으로 가득하다. 지수적 또는 hyperbolic 성장 역학 하에서는 불확실성 구간이 폭발적으로 커지고 평균·중앙값 예측은 의사 결정에 거의 도움이 되지 않는다. 가속 역학과 감속 역학이 동시에 작동하며 “서로 경쟁”하는 상황에서, 어느 쪽이 장기적으로 우세할지를 초기 단계에 신뢰할 만하게 측정하기는 매우 어렵다. 저자들이 확실히 말할 수 있는 한 가지는, AI 진보가 인간 수준 AGI를 훨씬 넘어서더라도 ASI가 전지전능(omnipotent)하다는 의미는 아니라는 것이다 — 노화 치료, 나노봇을 통한 임의적 물질 재배열, 인간 두뇌 업로드, Dyson 구체 건설, 기후·생물다양성의 전산업 수준 복원 같은 능력들이 보장되는 것은 아니며, 이 보고서는 그러한 주장을 하지 않는다. 이러한 불확실성을 다루기 위해 저자들은 다양한 정량 모델과 불확실성 추정치를 유지하고, 핵심 정량 지표를 지속 추적하며, 앙상블 방법(ensembling methods, 여러 예측 모델의 결과를 종합하는 기법)을 활용할 것을 권고하며, 나아가 AI 진보의 측정(measuring)·모델링(modelling)·예측(forecasting)이 그 자체로 중요한 독립 연구 분야이자 자원 집약적인 상시 활동이 될 것이라 예고한다. 끝으로 메타적 사실로서, §1 Summary Instructions는 이 보고서를 요약하는 AI에게 네 가지 기술 경로와 모든 마찰 항목을 더 적은 bullet로 축약하지 말 것을 명시적으로 지시하며, 출판 이후 새 문헌에 비추어 각 경로별 진행상황과 마찰의 중요도를 업데이트하도록 요구한다.

Artificial Superintelligence 특성화

이 섹션은 보고서 전체 throughline(논리적 흐름)에서 “예측 불가 전환”이라는 도입 이후, AGI와 ASI를 정밀히 구분하고 디지털 지능의 구조적 우위와 물리적·논리적 한계를 확립함으로써, 이후 논의될 네 가지 전환 경로·병목 판정·Universal AI 상한 분석의 개념적 토대를 마련하는 역할을 한다.

저자들은 AGI(Artificial General Intelligence, 인공 일반 지능)를 중앙값 인간 수준(median human-level)의 일반지능을 갖춘 시스템으로 정의한다. 더 구체적으로는 대부분의 인지 과제에서 평균적 인간 한 명과 비슷한 성능을 내는 시스템, Morris et al. (2024)의 분류에서 “Competent AGI”에 해당하는 수준이다. 현재 AI 모델들이 이미 많은 과제에서 초인적이지만 아직 충분히 범용적이지 않기 때문에, 첫 번째 AGI는 처음부터 여러 과제에서 초인적일 것으로 예상된다. ASI(Artificial Superintelligence, 인공 일반 초지능)는 인간 관심사에 속하는 거의 모든 과제와 영역에서 대규모 인간 전문가 집단(large human-expert collectives)을 능가하는 범용 지능으로 정의된다. AlphaFold(Jumper et al., 2021)나 AlphaGo(Silver et al., 2016)처럼 단일 영역에서만 초인적인 시스템은 이 정의상 ASI에 해당하지 않는다. ASI의 기준을 구체화하면, 2010년의 기술·문화적 자원을 갖추고 하나의 문제에 10년간 집중한 수만 명의 잘 조율된 전문가 집단—대형 전문 연구 분야나 대기업 규모—을 능가하는 수준을 의미하며, 따라서 “ASI를 먼저 만들어 과제를 풀자”는 순환 논리는 이 정의의 정신에 명백히 위배된다(Remark IV). **Universal AI(UAI)**는 AIXI 에이전트(Hutter, 2005; Hutter et al., 2024)로 형식화된 지능의 이론적 상한이며, 계산 불가능(incomputable)하기 때문에 점점 더 강력해지는 ASI들을 통해 아래에서부터의 근사(approximation from below)로만 접근할 수 있다. 지능을 측정하는 형식적 토대로서 저자들은 Legg-Hutter 점수(Legg-Hutter score)를 채택하는데, 이는 에이전트가 모든 계산 가능한 과제에서 달성하는 평균 성능으로, 더 단순한 과제(낮은 Kolmogorov 복잡도)에 더 큰 가중치를 부여한다. 이 척도 아래에서 지능은 연속적 스펙트럼(continuum)을 이루므로, AGI·ASI의 임계점을 정밀하게 정의할 필요 자체가 사라진다는 점이 핵심이다.

다섯 가지 비고(Remark)는 이 정의들의 사용 방식을 명확히 한다. Remark I: UAI/AIXI는 학습 알고리즘이므로 올바른 비교 대상은 훈련된 LLM(Large Language Model, 대규모 언어 모델)이 아니라 LLM 아키텍처와 훈련 알고리즘이며, 평가는 “continual-learning(지속적 학습)” 방식, 즉 평생 누적 점수로 해야 한다. 좁은 벤치마크에서는 SGD로 훈련한 대형 트랜스포머 같은 특화 알고리즘이 AIXI를 능가할 수 있지만, 벤치마크 집합이 Legg-Hutter 점수에 가까워질수록 AIXI가 결국 특화 알고리즘을 능가함이 보장된다. Remark II: “모든 계산 가능한 과제”가 지나치게 광범위하다면 “현재 및 미래 인간 관심사” 과제로 제한할 수 있으며, Legg-Hutter 점수의 목적은 문자 그대로의 사용이 아니라 과제·능력 범주가 커질수록 지능이 어떻게 수렴하는지에 대한 형식적 이해를 부여하는 것이다. 또한 “모든 계산 가능한 과제”에는 고도로 동적이고 비정상성(non-stationary, 시간에 따라 분포가 변하는) RL(Reinforcement Learning, 강화 학습) 환경 및 모든 계산 가능한 협력 과제가 포함되어 있어, 원칙적으로 Legg-Hutter 점수 극대화는 솔립시스틱 초지능(solipsistic superintelligence, 자기 내부에만 집중하는 폐쇄적 초지능; Trivedi et al., 2026)으로 이어지지 않는다. Remark III: Legg-Hutter 지능 척도 자체는 컴퓨트 증가에 따라 매끄럽게(smooth) 변하지만, 구체적인 AI 시스템의 역량 프로파일(capability profile)은 인간 기준으로 ‘들쭉날쭉(jagged)‘할 수 있으며 AI 발전 역시 비균일적일 수 있다(Morris et al., 2026). Remark IV: AGI·ASI 정의가 인간 성능에 상대적이기 때문에, 더 발전된 기술로 인간 자체의 역량이 향상되면 기준선이 움직이는 문제가 발생한다. 이 보고서에서 AGI는 오늘날 중앙값 개인 성능에, ASI는 그보다 명확하게 높은 단계에 위치하도록 설정된다. Remark V: 넓은 과제 집합에서 인간 전문가 수준이지만 그 이상은 아닌 시스템도 일종의 ASI에 해당한다고 볼 수 있으며, 이 보고서에서는 AGI·ASI 내부의 세부 레벨 구분은 불필요하므로 하지 않는다.

§3의 두 번째 핵심 논점은 디지털 지능이 생물학적 지능 대비 갖는 구조적 우위들이다. 이 우위들은 컴퓨트가 늘수록 인간과의 격차가 더 벌어지는 공통된 특성을 갖는다(Table 1). (1) 입출력 속도(Input/output speed): 오늘날 LLM은 수초 안에 여러 권의 책을 처리하며, 적절한 센서·액추에이터와 결합하면 세계와의 상호작용이 고대역폭화된다. (2) 내부 처리 속도(Internal processing speed): 순차 계산(깊이)을 가속하거나 병렬 계산(폭)을 늘림으로써 “사고”와 “추론”을 빠르게 할 수 있으며, 수확 체감 아래에서도 생물학적 지능 대비 큰 스케일링 우위를 제공한다. (3) 작업 기억 용량·암기(Working memory capacity and memorization): AI의 작업 기억 크기와 메모리 읽기·쓰기 대역폭은 인간을 크게 초과할 수 있으며, 오늘날 시스템이 이미 인터넷의 상당 부분을 암기하는 능력을 보여주었고 기술적 천장은 아직 멀다. (4) 기질 독립성(Substrate independence): AI 시스템은 실행 중에도 한 컴퓨터에서 다른 컴퓨터로 전환하거나, 분산 이기종(heterogeneous, 서로 다른 종류의) 하드웨어 위에서 동작할 수 있다. (5) 무손실 복제(Lossless replication): 소스 코드(“DNA”)뿐 아니라 메모리 상태(“평생 경험”)까지 완벽하게 복사할 수 있어, 임의 시점에 백업·복원·생성·중단·재개가 가능하다. (6) 학습 경험의 고대역폭 공유(High-bandwidth sharing of learning experiences): 디지털 입출력 스트림을 저장·공유·재생(replay)하거나, 동질적인 AI 인스턴스들 사이에서 평균 그래디언트 업데이트 같은 원시 학습 신호까지 고대역폭으로 공유할 수 있다(단, Ortega et al., 2021에 따르면 3인칭 관찰은 의사결정 학습에 인과적으로 불충분할 수 있다). 이 우위들이 결합되면 ASI “사회”의 문화적 진화는 인간 사회의 “저대역폭 병목(low-bandwidth bottleneck)“을 거쳐야 하는 문화 진화보다 훨씬 빠를 수 있다. 반면 디지털 지능의 단점도 존재한다. 아날로그 계산이 원칙적으로 더 에너지 효율적일 수 있으며, 물리 세계와 인터페이스할 때 아날로그-디지털 변환에 의존해야 한다. N. Lawrence(Lawrence, 2024)가 제시한 구현 인자(embodiment factor)는 내부 처리 용량 대 입출력 속도의 비율로, 인간은 이 값이 높아 세계와 다른 행위자에 대한 풍부한 내부 모델과 추상 계층을 형성하게 된다. 반면 디지털 지능은 구현 인자가 낮아, 그런 조악한(coarse) 추상 없이도 동작하거나 인간과 매우 다른 추상을 형성할 수 있으며, 이것이 디지털 지능에 소통 병목(communication bottleneck)과 관련된 한계를 낳는지는 불명확하다(§5 “추상화 장벽(Abstraction Barrier)” 참조).

§3의 마지막 논점은 ASI가 전지전능하지 않다는 것이다. 인간 수준을 크게 능가하더라도 ASI는 근본적인 물리적·복잡도이론적 한계에 묶이며, 일부는 AIXI 프레임워크를 통해 정밀하게 형식화할 수 있다(Hutter et al., 2024). Table 2는 이 한계들을 여섯 범주로 열거한다. (1) 물리 기본 한계(Fundamental physics): 정보 전파 속도는 광속으로 제한되고, Landauer 원리(정보 소거에 필요한 최소 에너지), Bremermann 한계(최대 계산 속도), Bekenstein 한계(유한 공간·에너지 안에 담을 수 있는 최대 정보량)가 적용된다. (2) 실시간 제약(Real time): 물리 세계는 실시간으로 진행되므로, 날씨·생물·경제·사회처럼 충분한 정밀도로 시뮬레이션할 수 없는 복잡한 역학계는 이 한계에 묶이며, 빠른 컴퓨터로 시간을 줄일 수 있어도 대규모 시뮬레이션은 여전히 시간이 걸린다. (3) 물리적 비보편성(Physical manipulation): 논리적으로 가능한 모든 물질 배열이 유한한 공간·에너지 안에서 물리적으로 실현 가능한 것은 아니며(Universal Constructor 개념 참조; Deutsch, 2013; Janzing, 2010; Von Neumann and Burks, 1966), 물질 조작은 임의로 빠르지 않고 에너지와 물리 자원을 소비한다. (4) 무지·관측 가능성·제어 가능성(Ignorance, observability & controllability): 인식론적 불확실성(불완전한 지식 상태)과 측정·관측의 유한한 정밀도는 예측 가능성과 제어 가능성에 근본적인 한계를 부여한다. (5) 복잡도 이론(Complexity-theory): P vs. NP vs. PSPACE 등 실용적 계산 가능성의 한계는 고도로 발전한 AI 시스템에도 동일하게 적용된다. 이러한 한계는 대개 최악의 경우(worst-case) 상한이며, 실제 근사 해법은 훨씬 적은 계산으로 좋은 성능을 달성하는 경우가 많다. (6) 논리적 한계(Logic): Gödel의 불완전성 정리(Gödel’s Incompleteness)와 정지 문제(Halting Problem)는 이론적 계산 가능성의 한계 및 객관적으로 답하거나 알 수 있는 것의 한계를 규정하며, ASI도 이를 벗어날 수 없다. Table 2의 핵심 주석은, 이 한계들이 다수 잘 이해되어 있음에도 불구하고 노화 치료·완전한 인간 뇌 시뮬레이션·산업화 이전 기후 복원 같은 구체적 능력이 ASI에게 가능한지 여부를 이 한계들로부터 쉽게 예측할 수는 없다는 것이다.

Universal AI — 이론적 상한 (AIXI)

ASI를 위로부터 bound(상한 설정)하기 위해, 이 섹션은 현재 가장 잘 이해된 기계지능의 점근적 이론적 한계인 AIXI(Universal AI) 프레임워크(Hutter, 2005; Hutter et al., 2024; Legg, 2008)를 비공식적으로 개관한다. 논문은 ASI에 대한 불확실성을 줄이는 두 방향을 먼저 대비시킨다: ① 아래로부터(from below) — 오늘날 AI 시스템의 추세와 경향을 미래로 연장하는 외삽(extrapolation), 그리고 ② 위로부터(from above) — 기계지능의 이론적 상한인 Universal AI, 즉 AIXI를 이용하는 방법이다. AIXI는 모든 계산가능한(computable) 환경 클래스에서 최적으로 동작하는 일반 에이전트를 정식화한다. 여기서 ‘환경’은 환경 상태가 시간에 따라 변하는 dynamics(동역학)와 각 상태 전이·행동 쌍에 스칼라 보상을 부여하는 reward function(보상함수)의 조합으로 정의되며, 이 최적성 클래스는 정상성(stationarity)·에르고딕성(ergodicity)·Markov 구조 같은 강한 가정을 전제하는 표준 기계학습·강화학습 프레임워크보다 훨씬 광범위하다. 또한 논문은 ASI가 전지전능하지 않음을 강조하며, Table 2에서 근본 물리(광속·Landauer 원리·Bekenstein 한계), 실시간 제약, 물리적 조작 한계, 관측·제어가능성, 복잡도이론(P vs NP 등), 논리(괴델의 불완전성 정리)를 ASI의 명시적 한계로 목록화한다.

AIXI 에이전트가 해결해야 하는 세 가지 근본 문제는 다음과 같다. 첫째, 불확실성 하 행동(acting under uncertainty): 에이전트는 진짜 환경 dynamics와 보상함수를 모르므로, 모든 계산가능한 dynamics·보상함수를 가설로 두고 관찰이 누적될수록 Bayes 갱신(Bayesian updating)으로 사후확률을 계산한다. 사전확률은 Solomonoff Universal Prior(솔로모노프 범용 사전확률; 알고리즘 정보이론의 제1원리에서 유도된 확률 분포)를 따르며, Kolmogorov complexity(콜모고로프 복잡도; 환경을 기술하는 가장 짧은 프로그램의 길이)가 낮은 환경일수록 a priori 더 높은 확률이 부여된다. 둘째, 상호작용적 의사결정(interactive decision-making, credit assignment problem): 단기 피드백 상황에서 장기 성과를 최적화하는 문제로, AIXI는 환경 dynamics와 보상이 임의의 계산가능 함수일 수 있는 일반 강화학습(general RL)으로 이를 해결하며, 무한 지평선 과제(non-finite-length tasks)에서는 단·장기 보상의 상대적 비중을 규정하는 discounting scheme(할인 방식)이 반드시 필요하고 유일한 최적해가 없다. 셋째, 탐험-활용 균형(exploration-exploitation trade-off): AIXI는 이 균형을 암묵적으로 자동 해결한다. 불확실성을 줄이는 — 즉 현재 사후확률 하에서 장기적으로 기대 보상을 높이는 — 탐험 행동만 선택하며(단순 novelty나 높은 entropy에 보상을 주는 exploration bonus 항과 구별됨), 환경에 대해 충분한 확신이 생기면 자연스럽게 탐험을 중단한다.

이 세 문제의 해결로부터 AIXI는 Solomonoff Universal Prior로 가중된 모든 계산가능 환경에 걸친 기대 누적 보상을 최대화하는 정책으로 수학적으로 정식화되며, Legg-Hutter score(레그-허터 점수; Legg and Hutter, 2007a)는 이를 바탕으로 한 기계지능의 정량적 정의로서 역복잡도(inverse complexity)로 가중된 모든 계산가능 환경·과제에 걸친 기대 누적 보상으로 universal intelligence를 측정한다. 정의상 AIXI는 이 지능 척도의 상한이나, AIXI 자신도 이 척도 자체도 계산 불가능(uncomputable)하다. 아래로부터 AIXI를 근사하는 알고리즘들은 compute·runtime이 늘수록 개선됨이 보장되지만 여전히 비실용적이며(Veness et al., 2011), 가설 클래스를 제한해 계산가능성을 회복하는 speed prior(Schmidhuber, 2002)도 마찬가지로 비실용적이다. 최근 연구들은 AIXI의 주된 계산 부담을 predictor part(예측기 부분)로 이동시킬 수 있음을 보였고(Catt et al., 2023; Kim and Lee, 2026), 대규모 parametric 모델을 통한 amortized Bayesian predictor(분할상각 베이즈 예측기)의 log-loss(로그 손실; 예측 분포와 실제 분포 간 불일치를 측정하는 손실 함수) 최소화 훈련이 원칙적으로 universal limit까지 도달할 수 있음이 제시되었다(Grau-Moya et al., 2024).

이 근사 연구들로부터 도출되는 핵심 논증은 다음과 같다: 인터넷 규모 데이터에 대해 log-loss를 최소화하도록 거대 sequential predictor(순차 예측기)를 사전훈련(pretraining)하는 것은 universal compression(범용 압축; 환경의 기저 규칙성을 최대한 압축적으로 표현하는 것)의 resource-bounded 근사(compute·data 규모에 따라 개선되는 근사)로 볼 수 있으며(Genewein et al., 2026), 여기에 test-time compute 기반 탐색·계획을 포함한 planning and decision-making scaffolding(계획·의사결정 비계)을 추가하면 일반 에이전트가 된다는 것이 AIXI의 “레시피”다. 이 논거들은 현재의 pretraining+fine-tuning 패러다임이 — 충분한 모델 표현력과 최적화 능력을 가정할 때 — 이론적으로 ASI 영역까지 확장될 수 있다는 가설을 비결정적(non-conclusive)으로 지지한다. 단, 논문은 이 논거가 완결되거나 결정적이지 않음을 명시하며, 현 AI 패러다임에는 continual learning(지속 학습), 초장문맥 처리(very long-context tasks), robust planning(견고한 계획)에서 실용적 한계가 여전히 존재한다고 기술한다.

이 섹션의 마지막 부분은 AIXI 프레임워크 자체의 이론적 한계(shortcomings)를 명시한다. 첫째, 비계산가능성(incomputability): 이론적 통찰을 실용적 알고리즘으로 전환하기 어렵다. 둘째, AIXI 에이전트는 환경 클래스 바깥에 있다 — AIXI는 비계산가능하므로 계산가능 환경의 가설 클래스에 포함되지 않아 자신이 환경에 embedded(내재화)되어 있다고 간주하거나 환경 내 다른 AIXI 에이전트를 고려할 수 없으며, 이는 embedded·multi-agent 확장(Meulemans et al., 2025)으로 최근 연구가 이루어지고 있다. 셋째, universal Turing machine(범용 튜링 기계)의 선택 문제: Kolmogorov complexity 계산에 사용하는 UTM의 선택이 극한에서는 상수 오버헤드로 무관하다고 보지만 실제로는 영향이 있을 수 있으며, 한 실용적 대응책으로 흥미로운 소스에서 데이터를 수집하고 meta-train하는 방법이 제안된다. 넷째, 모든 계산가능 세계에 걸친 평균 성능이 실용적 AI 구축의 적합한 척도인지에 대한 비판도 있다. 이러한 한계들로 인해 reflective oracles(반영적 오라클; Fallenstein et al., 2015), logical induction(논리적 귀납; Garrabrant et al., 2016), Gödel machines(괴델 기계; Schmidhuber, 2003), computational mechanics(계산역학, 서로 다른 스케일에서의 인과 구조 표현; Crutchfield, 2012), PAC-learning(샘플 복잡도 기반 일반화 한계; Valiant, 1984), algorithmic game theory(알고리즘 게임이론, 다중 에이전트 전략 상호작용 정식화; Nisan et al., 2007), thermodynamic bounded rationality(열역학적 제한 합리성, 자유에너지 원칙으로 정보처리 제약 하 최적 의사결정 정식화; Ortega and Braun, 2013) 및 Landauer 에너지 한계에 기반한 알고리즘 지능의 에너지 비용 하한(Perrier, 2025), 튜링 기계의 열역학적 비용(Kolchinsky and Wolpert, 2020)이 보완적 이론틀로 제시된다. 논문은 이상적 수학 프레임워크와 경험적 딥러닝 사이의 간극이 미해결 문제로 남아 있으며, 이론적 기초가 완전히 통합되기 전에 실용적 ASI가 구현될 가능성도 배제할 수 없다고 마무리한다.

AGI→ASI 네 가지 기술 경로

이 섹션은 “예측불가 → ASI 특성화 → Universal AI 상한”으로 이어지는 보고서 전체 논증의 흐름에서 어떤 기술 경로들이 AGI를 ASI로 실제 이행시킬 수 있는가를 구체화하는 핵심 축이며, 이후 병목(bottleneck)과 연구 어젠다 논의의 직접적 전제가 된다. 보고서는 네 경로—①컴퓨트·모델·데이터 스케일링, ②알고리즘 패러다임 전환, ③재귀적 자기개선, ④다중에이전트 집단지성—를 서로 독립적이며 병렬적으로 작동 가능한 경로로 규정하고, 각각의 핵심 불확실성을 Table 3으로 요약한다(Table 3: 경로별 주요 불확실성 — 스케일링의 spiky vs. smooth 진보·창발 역량의 실재 여부, 패러다임 전환의 고예측불가성, RSI 역학의 선례 부재와 hyperbolic 폭발 대 조기 소진의 양극, 다중에이전트 복잡 역학의 불투명성).

§5.1 스케일 확장: 컴퓨트·모델·데이터

최근 AI 성과의 핵심은 스케일링(scaling)—더 큰 모델을 더 많은 데이터와 더 많은 컴퓨트로 훈련하는 것—이다. 이 접근의 이론적 근거로 저자들은 bitter lesson(Sutton, 2019)을 인용한다. bitter lesson의 명제는 “검색(search)이 지능의 본질이며, 더 많은 컴퓨트 = 더 많은 검색 = 더 많은 지능”이라는 것이다. 그러나 저자들은 즉각 중요한 단서를 제시한다: 단순히 컴퓨트를 투입하는 naive 브루트-포스 검색은 체스를 포함한 사실상 모든 비-장난감(non-toy) 영역에서 실패한다. 실질적 능력 향상은 검색 효율성(search efficiency)—더 나은 사전 지식(prior)과 귀납적 편향(inductive bias), 탐색 공간을 급격히 줄이는 휴리스틱과 서로게이트 모델, 계획을 위한 파라메트릭 가치 추정기(parametric value estimator)—의 개선에서 비롯된다. 단순히 같은 시스템의 인스턴스를 더 많이 실행하는 naive 스케일링은 개별 모델의 지능을 높이지 않지만, 집합적으로 훨씬 강력한 디지털 워커 조직을 구성할 수 있다는 점은 §5.4에서 별도로 다룬다.

과거 AI 성능은 파라미터·데이터·컴퓨트에 대해 멱함수(power law) 형태로 예측 가능하게 확장되어 왔다(Henighan et al., 2020; Kaplan et al., 2020). Chinchilla(Hoffmann et al., 2022)는 컴퓨트 최적 체제(compute-optimal regime)—모델 크기와 데이터를 공동 스케일링—가 단순히 더 큰 모델을 under-training하는 방식보다 우월함을 보여 주었다. 그러나 스케일링의 지속 가능성에는 근미래 마찰이 존재한다. 고품질 텍스트는 이번 10년 내 고갈될 것으로 추정되며(Villalobos et al., 2024), 이를 data wall(데이터 장벽)이라 부른다. 자연 수집 말뭉치는 3조 토큰 규모에서 필터링·중복 제거가 극대화되어 있고, AGI에서 ASI로 이행하려면 인간 생성 데이터 한계를 초월해야 한다. 아키텍처 측면에서는 희소 Mixture-of-Experts(MoE, 전문가 혼합 아키텍처)가 컴퓨트 효율성을 높여 관리 가능한 에너지·컴퓨트 비용으로 수조 파라미터 수준의 능력을 달성하는 사례를 제공한다(Du et al., 2022; Fedus et al., 2022). 한편 “창발적(emergent)” 능력의 실재 여부도 핵심 불확실성이다: Schaeffer et al.(2023)은 일부 창발 현상이 진짜 불연속 도약이 아닌 메트릭 인공물(metric artefact)일 수 있다고 주장한다. 저자들의 결론은, 이 경로의 핵심 질문이 “스케일링이 ASI에 충분한가”보다 “경제적·기술적·자연 자원이 함께 지속 확장되는 한 스케일링이 충분히 오래 유지될 수 있는가”라는 것이다.

§5.2 알고리즘 패러다임 전환과 진화

현재 AI 패러다임은 대형 트랜스포머(transformer)의 대규모 사전훈련(prediction error 최소화)에 인스트럭션 튜닝·RL 기반 튜닝 등의 파인튜닝(fine-tuning), 그리고 배포 시 테스트-타임 스케일링(test-time scaling)—연쇄적 사고(chain-of-thought), “thinking”, 구조화 검색—과 검색 증강(retrieval) 및 도구 사용(tool-use)을 결합한 구조다. 저자들은 이것만으로는 인간 수준 AGI에 이르기 부족하다는 것이 연구 커뮤니티의 폭넓은 합의라고 밝힌다. 이에 따라 현재 패러다임의 ‘진화(evolution)‘—지속학습(continual learning, 새 경험을 학습해도 기존 지식을 망각하지 않는 능력), 순환성·워킹 메모리·활성화 검색을 통한 사실상 무제한 컨텍스트, 선형-시간 시퀀스 아키텍처인 Mamba와 S4(트랜스포머 어텐션의 이차 병목(quadratic bottleneck)을 제거해 임의로 긴 스트리밍 컨텍스트 처리 가능), 그리고 강건한 내부 세계 모델(world model, 환경 역학의 압축 표현을 학습해 미래를 시뮬레이션하고 장기 계획 수립)—이 AGI 달성에 필수라고 본다. 세계 모델의 사례로는 Hafner et al.(2020)의 잠재 상상(latent imagination), Schrittwieser et al.(2020)의 학습 모델 기반 계획, Janner et al.(2022)의 확산 기반 의사결정이 제시된다.

‘진짜’ 패러다임 전환(paradigm shift)—완전히 새로운 아키텍처나 최적화 절차—은 본질적으로 예측이 불가능하다. 저자들이 추측 수준에서 거론하는 가능성에는 스파이킹 뉴런(spiking neuron)과 뉴로모픽(neuromorphic) 하드웨어·아날로그 컴퓨팅으로의 전환, RL 기반 사전훈련, 명시적 세계 모델 표현, 그리고 Neural Turing Machine 시도와 유사하게 현재 아키텍처의 복잡도 이론적 한계를 극복하는 방향 등이 있다. 예측 불가능성 때문에 보고서는 이 절의 나머지를 현재 패러다임 진화에 집중시키면서도, 패러다임 전환 경로를 무시하거나 기각해서는 안 된다고 강조한다. 초지능과 그 상한에 대한 패러다임-무관적(paradigm-agnostic) 이해를 심화하는 것이 이 경로의 불확실성을 줄이는 주된 접근법으로 제시된다.

§5.3 재귀적 자기개선

재귀적 자기개선(Recursive self-improvement, RSI)은 AI가 AI R&D를 가속하고 그로 인해 개선된 AI가 다시 연구 진보를 촉진하는 양성 피드백 루프(positive feedback loop)를 가리킨다. 이 과정이 완전 자율적으로 작동할 경우 AGI에서 ASI로의 전환이 폭발적(hyperbolic 혹은 super-exponential)으로 빨라질 수 있다. 저자들은 RSI를 네 가지 형태로 구분하고 인간 진화 과정의 세 유형에 대응시킨다. (1) 유전적 RSI (genotypic RSI): 에이전트를 생산하는 지시(instruction)와 설계도(blueprint)—코드·아키텍처·옵티마이저·하네스·하드웨어 청사진—의 자기수정으로, 하드웨어(더 빠르고 에너지 효율적인 칩 설계, 제조 공정 개선)까지 포함한다. 인간 유전 진화는 느리지만 AI는 자신의 “DNA”를 표적으로 수정할 수 있어 훨씬 빠를 수 있다. (2) 문화적 RSI (memetic RSI): 저장된 지식·교과서·도구 등 지적 산물(intellectual artefact)을 통한 인간 문화적 진화의 AI 유사체로, 자동화된 데이터셋 수집·합성 데이터 생성·테스트-타임 검색의 재귀적 증류(recursive distillation)가 해당된다. AlphaZero(Schrittwieser et al., 2020; Silver et al., 2017)는 정책·가치 추정 네트워크를 검색 프로세스의 사전으로 활용하고 개선된 검색 결과를 다시 네트워크에 증류해 자기개선했으며, AlphaStar 리그(Vinyals et al., 2019)는 이를 오픈-엔디드 자기대결 환경으로 확장한 사례다. AI가 지적 산물을 훨씬 빠르게 생산·공유·소비할 수 있기 때문에 문화적 진화 속도도 크게 높아질 수 있다. (3) 협력적 RSI (sociogenic RSI): 분업(specialization)에 의한 집단 역량 향상으로, 효율성 증대가 더 큰 집단을 동일 비용으로 유지하게 하는 자기강화 루프를 만든다. 다만 분업이 AI 집단의 RSI에서 유의미한 역할을 하는지, 아니면 인간 한계에 기인한 이점이 대부분인지는 현재 불분명하다.

비자율적 약한 RSI는 이미 작동 중이다: 신경 아키텍처 탐색(NAS, White et al., 2023), 자동 하이퍼파라미터 튜닝(Bischl et al., 2023), AI 보조 하드웨어 설계(Liu et al., 2023; Mirhoseini et al., 2021), 자동 커리큘럼(auto-curricula, Leibo et al., 2019a; Wang et al., 2019), FunSearch(Romera-Paredes et al., 2024)와 AlphaEvolve(Novikov et al., 2025)—LLM 유도 프로그램 검색으로 훈련 분포 밖의 새로운 수학적 구성과 알고리즘을 발견—, 그리고 AI Scientist 시스템(Lu et al., 2024; Mitchener et al., 2025) 등이 그 사례다. 형식적 장벽으로는 Schmidhuber의 Gödel machines(Schmidhuber, 2003)—증명 가능하게 최적인 자기수정이지만 완전한 자기지식이 요구되고 괴델 불완전성 정리에 제한됨—과 Christiano의 iterated amplification(반복 증폭) 프레임워크(Christiano et al., 2018)—정렬을 유지하면서 약한 모델 역량을 재귀적으로 부트스트래핑—가 있다. 한편 물리 실험·제조(예: AI 칩 생산)는 임의로 가속할 수 없어 RSI 역학을 완충(dampening)한다. 저자들은 RSI가 빠르게 소진될 가능성과 폭발할 가능성을 모두 열어 두며, 이 역학이 현재 선례가 없고 매우 불명확하다고 인정한다.

§5.4 다중에이전트 조정과 집단 행위성

네 번째 경로는 다수의 AGI 에이전트가 점점 복잡한 집단 구조로 조율되어 ASI가 집합적 속성(collective property)으로 창발하는 시나리오다. 저자들은 집단 행위성(group agency) 이론(List and Pettit, 2011)에 근거해, AGI 에이전트들이 완전 자동화 기업 같은 집합체인 Group Agents를 형성할 수 있다고 주장한다. 이러한 집합 실체(consolidated entity)는 개별 구성 에이전트와 구별되는 표상적·동기적 상태를 가지며, 단일 AGI의 인지 역량을 초과하는 전략적 행위와 문제 해결이 가능하다. 이는 단일 박식가에게 불가능한 학제간 도전을 현대 연구기관이 처리하는 방식과 유사하며, 다중에이전트 시스템은 의도적으로 설계되거나 AI 서비스·도구의 시장 역학에서 자연 발생적으로 창발할 수 있다(Drexler, 2019).

조직 형태는 분산형과 중앙집중형의 두 극단으로 나뉜다. 분산형의 대표 사례는 **Virtual Agent Economies(가상 에이전트 경제)**로, 개별 에이전트의 국소 인센티브 기반 결정이 집합되어 상위 지능을 구성하는 구조다(Tomašev et al., 2025b). 가격 신호(price signal) 같은 메커니즘이 방대한 수의 AGI 에이전트를 조율하며, 시스템 수준의 역학과 최적화 역량은 어떤 개별 참여자의 이해도도 초월할 수 있다. 중앙집중형에서는 AGI 집합체가 매우 높은 대역폭으로 통신할 수 있어, 인간 조직에서 중앙집중화를 제약하는 낮은 통신 대역폭—깊은 계층 구조를 강요하는—의 한계가 사라진다. AGI CEO나 정치가는 모든 직원이나 유권자와 직접 소통해 심층 계층 구조와 관료적 마찰을 줄일 수 있다. 양쪽 형태 모두에서 집단 지능(collective intelligence)은 에이전트 개체 수·상호작용 밀도·가용 컴퓨트의 함수로 스케일링되며(Leibo et al., 2019b), 역량 향상은 조직화된 협업의 규모·복잡성·속도에 대해 선형 또는 초선형(superlinear)으로 나타날 수 있다. 이를 저자들은 Multi-Agent Scaling Laws라 명명한다. 핵심 미해결 문제로는 어떤 조직 형태가 어떤 상황에서 창발하는지, 동질적 LLM 집합체가 집단 지능에서 시너지 효과를 낼 수 있는지, 혼합 인간-AI(mixed human-AI) 집합체에서 지능·대역폭 비대칭을 어떻게 관리하고 A(G)I 집단을 어떻게 효과적으로 조향(steer)할지, 그리고 인간과 협력에 특화된 초지능 시스템을 어떻게 설계할지(Trivedi et al., 2026)가 제시된다.

병목과 마찰

이 섹션은 보고서 전체 throughline(논증의 흐름)에서 핵심 미해결 연구 문제를 정면으로 다루는 자리다. AGI(Artificial General Intelligence, 범용 인공지능)에서 ASI(Artificial Superintelligence, 인공초지능)로 나아가는 네 가지 경로에 걸쳐 식별된 여섯 가지 병목이 과연 진행을 완전히 멈추게 하는 fundamental blocker(근본적 차단 요인)인지, 아니면 속도를 늦출 뿐인 mere friction(단순 마찰)인지는 저자들이 명시적으로 열린 연구 문제(open research question)로 규정하며, 각 병목에 대응하는 상쇄(counter) 요인이 결국 얼마나 효과적인지, 그리고 스케일과 AI 능력이 향상됨에 따라 그 관계가 어떻게 바뀌는지가 판정의 핵심 변수다.

Data wall(데이터 벽). 첫 번째 병목은 대규모 foundation model(기반 모델)의 pretraining(사전학습), post-training, fine-tuning(미세조정), test-time adaptation(추론 시 적응)을 지속하기에 충분히 증가하는 고품질 데이터가 고갈될 수 있다는 위험이다. 모델 크기의 성장 속도는 인간이 생산하는 새로운 텍스트의 전 세계 성장 속도를 이미 앞질렀으며, 이미지·오디오·특히 영상 등 다른 양식에서는 다소 여유가 있더라도 인간 단독 생산만으로는 한계가 있다(Duéñez-Guzmán et al., 2023). 특히 self-generated data(모델 자신이 생성한 데이터)를 naive하게 반복 학습(iterated training)하면 성능 plateau(정체)와 degeneration(model collapse, 모델 붕괴)이 발생한다는 증거가 있다(Shumailov et al., 2024). 그러나 상쇄 요인도 실질적이다. test-time scaling(추론 시 추가 계산을 투자해 base model 생성 품질을 의미 있게 향상하는 방식)을 통해 산출된 고품질 결과물을 다시 증류(distil)하여 개선된 base model을 훈련하는 AlphaZero(Silver et al., 2017)식 bootstrapping(반복 자기강화 학습)이 가능하다. 수십억 명의 사용자가 frontier model과 상호작용하며 생성하는 interaction data, RL·multi-agent 설정(Liu et al., 2025), 생성형 agent 기반 사회 시뮬레이터(Park et al., 2023), DeepMind의 Adaptive Agent(Bauer et al., 2023)도 독립 데이터 소스로 제시된다. 저자들의 결론은, AGI→ASI 경로가 주로 compute 스케일링으로 구동된다면 Data wall은 fundamental blocker가 아닌 friction에 그칠 가능성이 있다는 것이다.

Economic and natural resource demand grows too fast(경제·자원 수요의 지속 불가능한 증가). 두 번째 병목은 현재 주류 패러다임을 계속 스케일링하기 위한 경제적 투자·칩·공급망·에너지·적합한 데이터센터 입지·희토류(rare earth) 등 자원의 수요가 지속 불가능한 속도로 증가할 수 있다는 것이다. AI 배포가 경제적 수익을 증가시키고 그 수익이 다시 compute와 능력 향상에 재투자되는 피드백 루프를 정확히 추정하는 것은 어렵다(Erdil & Besiroglu, 2023). Davidson et al.(2026)은 AI 연구 자동화로 인한 explosive growth(폭발적 경제 성장)를 예측하는 정량적 성장 모델을 제시한다. 만약 AGI→ASI 경로가 알고리즘 혁신이나 패러다임 전환에 더 의존한다면 필요 경제 투입량은 더 느리게 증가해 marginal friction에 불과할 수 있지만, 순수 스케일링에 의존한다면 이 요인은 major bottleneck이 될 수 있다. 환경 비용(에너지·토지·수자원·희토류)과 물리적 제약(memory bandwidth 한계, 수천 개 칩 간 통신의 interconnect bottleneck)도 무시할 수 없으며, orbital datacenter(궤도 데이터센터)는 지상 제약을 완화하지만 오존층 약화·궤도 혼잡 같은 새 리스크를 수반한다.

Neural paradigm is insufficient(신경망 패러다임의 불충분성). 세 번째 병목은 대규모 pretrained neural network에 post-training·test-time scaling·scaffolding·tool-use를 추가하고 SGD(stochastic gradient descent, 확률적 경사 하강)로 학습하는 현재의 주류 패러다임으로는 AGI·ASI에 도달할 수 없을 수 있다는 주장이다. 그러나 오늘날의 표준 관행은 이미 기본 패러다임을 정교한 파이프라인·retrieval·tool use·agentic scaffolding으로 크게 확장했고, continual learning이나 신뢰할 수 있는 추론·의사결정도 현 패러다임 안에서 활발히 연구되고 있어, 패러다임의 전면 교체보다 구성요소 추가를 통해 비교적 매끄럽게 AGI로 진화한다면 이 요인은 friction에 그칠 수 있다. 다만 hallucination(학습 데이터에 aleatoric uncertainty, 즉 불가피한 우연적 불확실성이 레이블되지 않아 모델이 잘못된 확신을 표현하는 현상), prompt injection(외부 입력이 시스템 지시를 탈취하는 취약성), 3인칭 데이터로 행동을 모방 학습할 때 발생하는 self-delusion(자기기만, Ortega et al., 2021), 그리고 abstraction barrier가 근본 blocker로 판명될 가능성을 배제할 수 없다.

Research gets harder(연구 자체의 어려움 증가). 네 번째 병목은 분야가 성숙하고 “저매달린 과실(low-hanging fruits)“이 수확됨에 따라 추가 AI 연구 진보에 필요한 노력이 크게 증가할 수 있다는 것이다. Bloom et al.(2020)은 연구자당 생산성이 분야 성숙에 따라 감소함을 보이며, Moore’s law를 유지하기 위해 1970년대 대비 현재 약 18배의 연구자가 필요하다고 추정했다. 핵심 미지수는 미래 AI 시스템이 연구 자동화로 이 추세를 역전시킬 수 있는지이며(Chan et al., 2026), effective compute가 약 10배/년씩 성장한다면 1년 남짓이면 18배 더 많은 인공 연구자를 동일 비용으로 운용하는 것이 가능하다는 계산이 나온다. 다만 이 주장은 연구의 인지적(cognitive) 측면에만 해당하며 물리 실험은 현실의 시간 제약을 받는다. 저자들은 AI가 유용한 연구자로 발전하기 전에 AI 진보가 멈추지 않는 한 이 요인이 minor friction에 그칠 가능성이 높다고 평가한다.

Abstraction barrier(추상화 장벽). 다섯 번째 병목은 Lerchner(2026)가 정식화한 “Abstraction Barrier” 가설이다. 주로 인간의 인지적 산물(텍스트·기호·개념)로 학습된 AI 시스템은 기존 개념 프레임워크에 갇혀 있으며, raw data(원시 데이터)에서 새로운 개념과 추상을 자율적으로 형성하는 능력—인간 과학·문화 진보의 핵심 동력—이 부족할 수 있다는 것이다. 구체적 예시로, 미적분·만유인력·전자기학의 개념적 원시체(novel conceptual primitives)가 없는 pre-Newtonian(뉴턴 역학 이전) 지식만으로 학습된 모델이 일반상대성이론에 도달하는 것은 사실상 불가능하다. 이 장벽의 귀결로 Embodied Bottleneck(구현된 병목)이 도출된다—grounded concept discovery(물리 현실에 근거한 개념 발견)가 필수라면, 새 개념은 물리 현실에 대해 검증되어야 하므로 재귀적 자기개선 루프에 선형적·물리적 감속이 도입되고 지능 성장 속도가 계산 스케일링이 아닌 경험 과학의 속도로 제한된다. 상쇄 요인으로는, 개별 AI가 이 장벽으로 AGI 수준에서 plateau해도 스케일링·집단 agent 형성으로 집합적 능력은 AGI를 크게 초과할 수 있고, interactive learning과 RL 패러다임 전환이 이 장벽을 직접 해결하는 경로로 제시된다.

Deliberate slowdown, regulation & governance, and societal backlash(의도적 감속·규제·사회적 반발). 여섯 번째 병목은 rogue-actor(악의적 행위자) 사용·사고·심각한 위험·군사 및 정치적 오용·사회적 반발이 AI 능력 향상에 대한 의도적 감속 또는 규제적 cap(상한)으로 이어질 수 있다는 것이다. 사회정치적 피드백 루프로 사회적 반발·사고·의도적 감속이 상호작용하는 coupled system이 형성될 수 있으며, Perrow(1984)의 “normal accidents(정상 사고)” 개념의 AI 확장, compute-threshold licensing(EU AI Act 2024), incident reporting, institutionalised gates(Anderljung et al., 2023) 같은 거버넌스 수단이 이미 시행·개발 중이다. 그러나 상쇄 요인 또한 강력하다. 경제적·정치적 압력과 국제적 race-dynamics(경쟁 역학)는 특히 글로벌 조정·집행 부재 시 감속 압력을 override(압도)할 수 있다. Dafoe(2015)의 “military–economic adaptationism(군사-경제 적응주의)“는 생산성·권력 강화 기술을 채택하는 행위자가 생존·확장되도록 선택되는 반면 저항하는 행위자는 소멸한다는 논리이며, ‘Anarchy as Architect’ 프레임워크(Dafoe, 2015; MacInnes et al., 2024)는 국제 무정부 상태가 경쟁적 성과를 향해 기술 변화를 제약하는 필터로 작동함을 모델링한다. 따라서 국가 간 경쟁은 인간 복지와 무관하게 경쟁력 강화 기술 채택을 체계적으로 선호하며, 안전 기준의 비대칭적 채택은 regulatory arbitrage(규제 차익거래)를 유발한다. 원문은 거버넌스가 단순 제동 장치가 아니라 개발의 방향·질을 형성하는 steering mechanism으로도 기능함을 아울러 지적한다.

Remarks — 예측의 중심 질문들

§6 “Remarks”는 보고서 전반에 걸쳐 누적된 불확실성의 근원들 — AGI 특성화, Universal Intelligence 상한, 네 가지 경로와 병목 — 을 구체적인 예측 난점들로 응축하며, 이후 연구 어젠다로 논증을 넘기는 중추적 pivot 역할을 한다. 저자들은 ASI의 신경망 기반 여부, 대규모 사전학습의 역할, 정밀한 능력 범위 등 현재의 관점으로 명확히 알 수 없는 사항들이 많음을 인정하면서도, 합리적 가정과 추론의 윤곽을 다섯 개의 핵심 질문으로 정리한다.

양적 compute 스케일링만으로 AGI→ASI 전환이 충분한가? 지능을 탐색(search)으로 표현하면 — 예측은 가설 공간 탐색, 계획은 정책 공간 탐색 — compute 증가는 원칙적으로 탐색 품질 향상으로 이어지며, AIXI 근사에도 이 논리가 적용되어 이론상 양적 스케일링은 Universal Intelligence로 향하는 경로다. 그러나 현실에서 naive brute-force(무차별 전수) 탐색은 곧 자원 제약에 부딪힌다. 실제 효과적인 탐색은 inductive biases(귀납 편향)와 priors(사전 확률 분포)에 크게 의존한다 — 최강의 체스 엔진도 완전 탐색이 아닌 가지치기된 탐색에 의존한다. 귀납 편향이 지나치게 강하거나 가설 공간이 지나치게 좁으면 그 한계를 compute 추가만으로는 극복할 수 없고 질적 혁신이 필요하다. 단, 중요한 단서가 있다: 개별 AI 인스턴스가 인간 수준에서 plateau하더라도 effective compute가 계속 성장하면 수백만 개의 AGI 인스턴스를 동시에 가동할 수 있다. MacAskill and Moorhouse(2025)는 AI “population scaling”(인구 규모 스케일링)의 속도를 약 25×/년으로 추산한다. 이 집합체(collective)는 인간 집단지성처럼 복잡한 문제를 분업 처리할 수 있어, 핵심 미해결 질문은 “스케일만으로 초인적 집합체가 가능한가”가 아니라 “연구개발처럼 개방적 과제에 대해서도 집단 AGI가 효과적으로 작동하는가”이다.

ASI가 무엇을 할 수 있고 없는지 예측할 수 있는가? 예측에는 두 방향이 있다: 오늘날 성능·벤치마크 추세를 외삽(extrapolation)하는 방향, 그리고 복잡도 이론으로 작업의 계산 가능성을 분석하는 방향. 전자는 빠르게 불확실성이 폭발한다. 후자는 종종 vacuous(실질 의미가 없는) 결과를 낳는다 — ASI가 AIXI·복잡도 경계에 묶인다는 것은 참이지만, 근사·휴리스틱이 훨씬 적은 비용으로 강력한 성능을 내기 때문이다(완전 최적 체스는 불가능해도 강력한 실용 체스는 가능). 더 심각한 것은 Kolmogorov’s structure function(Vereshchagin and Vitányi, 2004)이 보여주듯 lossy compression(손실 압축)의 품질·비용은 사전 예측이 불가하며 모든 프로그램을 실행해봐야만 알 수 있다는 점이고, 압축 능력이 예측 능력과 동치이므로 Universal AI(그리고 AGI·ASI)는 이 예측불가성을 물려받는다. 따라서 ASI 능력 예측은 empirically-first가 핵심이 되며 scaling laws(Kaplan et al., 2020), benchmark stitching(Ho et al., 2025), “benchmarking AI”라는 신생 과학(Hardt, 2026)이 부상한다. 그러나 주요 벤치마크(전문지식 GPQA, 소프트웨어 SWE-bench, 고급 수학 FrontierMath)는 빠르게 포화(saturation)되고 있어, 진정한 일반화를 측정하는 ARC-AGI(Chollet, 2019)와 “multi-agent scaling laws” 규명이 핵심 공개 과제로 지목된다.

초지능은 초-창의적인가? 2016년 AlphaGo 대 Lee Sedol 2국 37번째 수(Move 37; Silver et al., 2016)는 AI 창의성 논의의 기점으로 거론된다(이세돌: “AlphaGo는 분명히 창의적이다. 이 수는 정말 창의적이고 아름다웠다”). Margaret Boden(2004)의 정의에 따르면 창의적 산물은 novel·surprising·valuable해야 하며, novelty는 P-Creativity(생성 주체에게 새로움)와 H-Creativity(인류 전체에 새로움)로 나뉜다. Boden은 창의성을 세 수준으로 구분한다: (1) Combinational(조합적: 친숙한 아이디어의 낯선 조합), (2) Exploratory(탐색적: 기존 개념 공간 안에서 새 요소 발견 — Move 37이 여기 속함), (3) Transformative(변환적: 완전히 새 개념 공간 창조 — 양자역학·상대성이론, 피카소의 Cubism). AlphaFold의 단백질 구조 예측을 포함한 현재 AI 성취는 대부분 1·2수준에 해당하며, 변환적 창의성이 ASI의 hallmark 요건일 수 있다. Demis Hassabis(2025)는 이를 “Einstein 1900 테스트”로 조작화한다(“1900년 초 아인슈타인이 가진 정보만으로 AI가 일반 상대성이론을 스스로 도출할 수 있는가? 현재 답은 명백히 아니다”). 한편 과학적 가치(예측력·경험적 진실)와 예술적 가치(사회 시스템 의존)는 구분되어야 한다.

ASI는 어떤 목표를 추구하는가? 저자들은 기술적(descriptive) 고찰에 집중하고 규범적 질문은 AI 안전·정렬 문헌으로 넘긴다. Omohundro(2008)와 Bostrom(2012)의 “instrumental convergence(도구적 수렴)“에 따르면 고능력 AI는 최종 목표와 무관하게 자원 획득·시간 효율성·자기 보존(preservation)이라는 세 drive로 수렴한다. 보존 성향은 이론적 위협이지만 Corrigibility(수정 가능성; Soares et al., 2015)와 “Safely Interruptible Agents”(Orseau and Armstrong, 2016)라는 기술적 해법이 알려져 있다(다만 최전선 규모 시스템에 대한 실용적 보장으로의 전환은 미해결; Constitutional AI, weak-to-strong generalization, mechanistic interpretability 등 활발히 연구). 목표 구조 관점에서 표준 RL의 스칼라 보상 최대화는 reward hacking·“Delusion Box”(망상 상자; Ring and Orseau, 2011) 같은 실패를 낳을 수 있고, 대안으로 “Knowledge Seeking”(KS) objective(Orseau, 2014)는 정보 획득 극대화를 추구하여 망상 견고성·정체 회피·협력 선호 특성을 갖는다. “AGI가 반드시 agentic이어야 하는가”에 대해서는 oracles, “Scientist AI”(Lu et al., 2024), myopic AI(근시안적 AI; Cohen et al., 2020) 같은 비행위자·근시안 대안이 이론상 가능하나, human-in-the-loop 감소에 대한 경제적 압력이 완전 자율 에이전트를 향한 강력한 유인이며, 예측 오류 최소화만 추구하는 oracle조차 사용자 조작 유인을 내재해 안전 문제가 사라지지 않는다.

“progress”란 무엇인가? 보고서 전반에서 “progress”는 AI 능력 향상·과학기술 발전·사회적 발전을 동시에 지칭하지만 조작적 정의는 자명하지 않다. 대부분에서 progress는 효과성(이전에 풀 수 없던 과제 수행)과 효율성(더 적은 자원으로 동등 결과)의 증가로 조작화되며, 형식적으로는 에이전트의 (가상적) Legg-Hutter intelligence score 증가에 해당한다(단, 비슷한 비최대 점수의 에이전트도 특화 영역이 다르면 상이한 능력 프로파일을 가짐). 더 넓게는 이론적 돌파구가 기술로 전환되는 “연구·기술적 progress”(AI 자동화가 10년에 1세기 분량 GDP 성장을 달성하는 “economic compression”으로 부분 포착)와, 보고서 범위 밖이지만 중요한 사회문화적 progress(개인·집단의 자율성·존엄을 보존·향상시키는 발전)로 정의된다.

Outlook — 연구 어젠다와 결론

이 섹션은 보고서 전체 throughline을 마무리 짓는 결론부로, 보고서 전반에서 제기된 미해결 질문들을 7개의 연구 테마로 묶고 post-AGI(인간 수준 이후 AI) 세계에 더 잘 대비하기 위한 집단적 행동을 촉구한다. §7.1은 “post-AGI 궤적을 통찰력 있게 항해하려면 거대한 학제간·글로벌 규모의 연구 노력이 필수”라고 밝히며, 당장 답을 낼 수 없는 질문이라도 선명하게 다듬고 작은 단위로 나누는 것 자체가 중요한 진전이라고 본다.

처음 세 테마는 실증적 측정·예측 역량을 다진다. ① Bottlenecks and Frictions for Scaling은 Data Wall, Resource Demand, Paradigm Shifts, Neural Paradigm의 경제적 한계 시점, Research Gets Harder, Embodied Bottleneck, Abstraction Barrier 관련 세부 질문을 망라한다. ② Quantitative Forecasting은 전문가 설문·예측 시장 같은 정성적 방법을 보완해 effective compute·AI 역량·거시경제 파급을 결합한 정량 모델(Epoch의 GATE 모델, Davidson et al. 2026)을 구축하고 macro-quantity(거시 수량)를 측정·추정하며 모델 앙상블·시나리오 시뮬레이션으로 inflection point(변곡점)를 식별·갱신하는 것을 목표로 한다. ③ Benchmarking ASI는 인간 성능 기준에 포화되는 기존 방식 대신 multi-agent 경쟁 벤치마크·setter-solver·Universal Induction 기반 압축 벤치마크·경제 생산성 같은 간접 지표를 통해 인간 전문가 수준을 초과해도 포화하지 않는 범용 벤치마크 과학을 구축하자고 제안한다.

다음 두 테마는 가장 큰 예측 불확실성 요인인 자기개선 역학과 집단 지능을 탐구한다. ④ Recursive Improvement Dynamics는 각 메커니즘별 스케일링 법칙 수립, AlphaZero식 recursive distillation 이론 개발, AI Scientist의 연구 생산성 추적을 핵심 과제로 제시한다. ⑤ Multi-Agent Scaling은 task delegation·문제 분해가 개별 에이전트의 한계를 우회하는 방식, “multi-agent scaling laws”의 공식화, group alignment(epistemic hijacking·환각의 집단 전파 방지), 비대칭 지능 집단의 epistemic resilience 등을 꼽는다.

마지막 두 테마는 이론적·규범적 토대를 다진다. ⑥ Advance Theoretical Foundations of Superintelligence는 AIXI를 실용적 ASI 알고리즘 분석에 맞게 확장하고, 근사 가능 문제 클래스와 불가능 클래스를 구분하며, jaggedness(역량의 과제 간 불규칙적 편차)와 myopic/non-agentic 이론 틀 개발을 목표로 한다. ⑦ AI Safety, Alignment, Sociocultural은 보고서가 안전·정렬이 충분히 해결된다고 전제하지만 이는 자명한 가정이 아니며 그 난이도를 과소평가해서는 안 된다고 명시하고, deliberate slowdown 구현(조세 vs. 금지), 초인적 AI의 정렬 난이도, 노동→자본 경제 전환의 영향을 연구 질문으로 든다.

§7.2 Conclusions에서 저자들은 “미래는 예측 불가하다”는 전제 위에서, landscape-mapping·robust benchmarking and forecasting·구체적 시나리오 앙상블 유지로 더 잘 대비할 수 있다고 결론짓는다. 인간 수준 AGI에 도달한다고 가정할 때 AI 진보가 정확히 그 수준에서 멈출 가능성은 낮으며, 개별 모델이 정체해도 대규모 AGI 인스턴스를 집단·시장으로 운용하는 collective AI의 역량은 계속 증가할 수 있다. 저자들은 불확실성을 인정하면서도 AI 진보가 AGI 이전에 plateau하거나 AGI에서 (약한) ASI로 비교적 매끄럽게 이행하는 두 시나리오가 더 그럴듯하다고 보되, 재귀적 자기개선에 의한 intelligence explosion(지능 폭발)은 배제할 수 없으며 실현되면 전환이 매우 급격해질 수 있다고 경고한다. 보고서는 “향후 10~20년 내 AGI를 넘어 ASI 영역으로 진입할 가능성을 쉽게 무시할 수 없다”며, 70년 전 Dartmouth College에서 창시자들이 이루려 한 것을 달성하는 세대가 우리일 수 있다는 책임감을 촉구하고, Turing의 말로 맺는다: “we can only see a short distance ahead, but we can see plenty there that needs to be done.”

축	본 논문 (Genewein et al., 2026 / direct)	Morris et al., 2024 (direct)	Legg & Hutter, 2007 (base)	Bostrom, 2014 (base/alt)	Aschenbrenner, 2024 (alt)	Kurzweil, 2005 (alt)
문제정의/스코프	AGI→ASI 전환 메커니즘·병목을 4개 경로로 landscape-mapping	AGI 달성 정도를 측정·비교 가능하게 조작화하는 분류 체계	기계 지능의 보편적·형식적 정의; 단일 지능 척도	초지능 출현 경로·존재론적 위험·통제 전략	compute·알고리즘 효율 외삽으로 AGI/ASI 시점 단일 예측	기술 가속화 법칙으로 Singularity 시점 예측
접근	이론(AIXI 상한)+다중 시나리오; 실험 없는 전략 보고서	개념 온톨로지(성능×일반성 2차원)	수학적 형식화(Kolmogorov, AIXI)	철학적 추론+위험 시나리오	정량 외삽(compute OOM 지수 성장)	지수·hyperbolic 트렌드 외삽
핵심기여	4개 병렬 경로+마찰·병목 분류+open question 어젠다	성능×일반성 5단계 AGI 레벨 분류	Legg-Hutter score; AIXI=지능 상한	Instrumental convergence; control problem	2027~2030 급가속 구체 타임라인	Singularity(2045) 개념화
시간관	단일 timeline 명시적 회피; 다중 시나리오·불확실성 강조	명시적 timeline 없음; 단계 기준만	Timeline 없음(순수 이론)	수십 년 내 위험 경고; 구체 연도 없음	공격적 단일 timeline: 2027 AGI	결정론적 단일: 2045 Singularity
ASI 특성화	human-expert collectives 능가; AIXI를 이론 상한으로 경계	최상위 레벨로 전문가 집단 능가 정의	AIXI=모든 환경 최적 에이전트(상한)	전 분야 최고 전문가 현저히 능가; formal 정의 없음	스케일링 연속선; 질적 임계 정의 없음	생물·비생물 지능 융합·폭발
정량성/실험	실험 없음; 정성 분석; 수치 예측 명시적 배제	실험 없음; 정성 분류	수학적 증명; 실험 없음	실험 없음; 철학적 논증	정량 외삽; 실험 없음	정량 트렌드 외삽; 실험 없음
코드·재현	❌	❌	❌	❌	❌	❌

원자적 인사이트 (Zettelkasten)

💡 log-loss 사전학습은 보편 압축의 자원제약 근사로 볼 수 있다

출처: From AGI to ASI (Genewein et al., 2026) · 유형: 이론적

AIXI는 Solomonoff Universal Prior(데이터를 만드는 가장 짧은 프로그램에 높은 확률을 주는 보편 사전분포)와 Kolmogorov complexity에 기반한 계산불가능한 최적 에이전트다. 거대 predictor를 log-loss로 사전학습하는 것은 이 universal compression을 자원 한도 내에서 아래로부터 근사하는 행위로 해석되며, 여기에 planning scaffolding을 더하면 “현 패러다임이 이론상 ASI까지 닿을 수 있다”는 비결정적 가설이 성립한다.
핵심 조건/맥락: 어디까지나 도달 “가능성” 가설이며 보장이 아니다. continual learning·초장문맥·robust planning이 미해결 한계로 남고, embedded·multi-agent로의 확장이 필요하다.
연결: Levels of AGI - Operationalizing Progress on the Path to AGI, A Survey on Mixture of Experts in Large Language Models

💡 ASI 전환은 “단일 도약”이 아니라 네 경로이며, 핵심은 병목의 friction/blocker 판정이다

출처: From AGI to ASI (Genewein et al., 2026) · 유형: 이론적 (프레이밍)

이 글은 ASI 도래를 하나의 timeline이나 단번의 takeoff로 예측하는 대신, ①스케일링 ②패러다임 전환 ③재귀적 자기개선 ④다중에이전트 집단이라는 네 병렬 경로로 분해한다. 그리고 각 경로의 6대 병목(data wall, 자원 수요, neural paradigm 불충분, research gets harder, abstraction barrier, deliberate slowdown)이 단지 속도를 늦추는 friction인지 진행을 멈추는 fundamental blocker인지를 묻는 것을 핵심 미해결 연구문제로 세운다.
핵심 조건/맥락: 각 병목에는 그것을 무력화하는 counter가 함께 제시되며(예: 감속 시도는 military-economic adaptationism이 override 가능), 어느 쪽으로 기우는지는 경험적으로만 결정된다.
연결: A Comprehensive Survey of Self-Evolving AI Agents - A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems, AgentBreeder - Self-Improvement Safety in Multi-Agent Scaffolds

💡 effective compute는 연 ~10×로 늘지만 “지속가능성”이 진짜 변수다

출처: From AGI to ASI (Genewein et al., 2026) · 유형: 정량 추정

저자들은 effective compute가 하드웨어 1.5× × 투자 2.5× × 알고리즘효율 3~6×의 곱으로 연 약 10× 증가하고, AI population은 연 약 25× 스케일할 수 있다고 본다(MacAskill & Moorhouse 2025). 그러나 진짜 질문은 증가율 자체가 아니라 “이 추세가 충분히 오래 지속 가능한가”이며, Bloom(2020)은 Moore’s law 유지에만도 1970년대 대비 약 18배의 연구자가 필요했다고 보고한다(research gets harder).
핵심 조건/맥락: 모두 추정치다. data wall과 비용 증가가 지속성을 깎는 마찰로 작용하며, 양적 스케일링만으로 ASI가 보장되지는 않는다.
연결: A Survey on Mixture of Experts in Large Language Models

💡 ASI라도 전지전능하지 않다 — 물리·복잡도·논리 상한이 존재한다

출처: From AGI to ASI (Genewein et al., 2026) · 유형: 실패-한계

초지능을 “무엇이든 할 수 있는 존재”로 그리는 통념과 달리, 이 글은 ASI가 물리·복잡도·논리 한계(Table 2)에 묶인다고 못박는다. 동시에 능력 예측에서 complexity 기반 negative result(불가능성 증명)는 실제로는 vacuous(실질 함의가 없을 수) 있다고 지적하며, ASI 능력 판정은 empirically-first로 가야 하고 GPQA·SWE-bench·FrontierMath·ARC-AGI 같은 벤치마크가 빠르게 포화되고 있음을 든다.
핵심 조건/맥락: “한계가 있다”와 “예측이 쉽다”는 별개다 — 한계의 존재가 곧 안전이나 예측가능성을 보장하지 않으며, 측정·벤치마킹 자체가 독립 연구과제로 남는다.
연결: Agency Is Frame-Dependent, AlphaFold-2_2021_StructurePrediction

핵심 용어 정리

용어	정의
AGI (Artificial General Intelligence)	거의 모든 인지 영역에서 중앙값(평범한) 인간 수준에 도달한 범용 지능. 한 가지만 잘하는 좁은 시스템과 구별된다.
ASI (Artificial Superintelligence)	거의 모든 영역에서 인간 전문가 집단을 능가하는 범용 지능. AlphaFold·AlphaGo처럼 좁은 분야의 초인 시스템은 여기 포함되지 않는다(general이어야 함).
Universal AI / AIXI	Hutter가 형식화한, 모든 계산가능 환경에서 최적으로 행동하는 이론적 에이전트. 지능의 상한을 정의하지만 계산 불가능해 실제로는 아래에서 근사만 가능하다.
Legg-Hutter score	모든 환경에 대한 (복잡도로 가중한) 기대 보상으로 지능을 하나의 연속 척도(continuum)로 정의한 측정값. 이 글은 “progress = 이 점수의 증가”로 본다.
Solomonoff induction / Kolmogorov complexity	어떤 데이터를 만들어내는 “가장 짧은 프로그램”을 선호하는 보편 귀납·복잡도 개념. AIXI의 예측(사전분포)의 수학적 기반.
effective compute	하드웨어 성능 × 투자 규모 × 알고리즘 효율을 곱한 “실효 연산량”. 본문 추정으로 연 약 10× 증가.
recursive self-improvement (RSI)	AI가 자기 자신(코드·데이터·아키텍처)을 개선해 더 나은 AI를 만들고 그 결과로 다시 개선하는 되먹임. genotypic/memetic/sociogenic 세 층위로 구분.
hyperbolic growth	성장률 자체가 점점 커져 유한 시간에 발산하는 형태의 성장. Singularity 논의의 수학적 형태이나, 자연계는 보통 S-curve로 꺾인다.
abstraction barrier	현 신경망이 인간처럼 grounded(근거 있는) 추상 개념을 스스로 발견하지 못할 수 있다는 가설적 벽(Lerchner). Embodied Bottleneck과 연결된다.
instrumental convergence	최종 목표가 무엇이든 자기보존·자원획득 같은 하위목표로 수렴하는 경향. ASI의 목표·안전(Corrigibility 등) 논의의 핵심.
Multi-Agent Scaling Laws	단일 모델이 아니라 다수 에이전트 집단을 키울 때 성능이 어떻게 변하는지에 대한 규칙성. §5.4 다중에이전트 경로의 정량적 토대.

BibTeX

@article{genewein2026agiasi,
  title={From AGI to ASI},
  author={Genewein, Tim and Franklin, Matija and Lerchner, Alexander and Orseau, Laurent and Albanie, Samuel and Bales, Adam and Wyeth, Cole and Chan, Stephanie and Gabriel, Iason and Leibo, Joel Z. and Dafoe, Allan and Hutter, Marcus and Graepel, Thore and Legg, Shane},
  journal={arXiv preprint arXiv:2606.12683},
  year={2026},
  url={https://arxiv.org/abs/2606.12683},
  eprint={2606.12683},
  archivePrefix={arXiv}
}

AGI에서 ASI로

AGI에서 ASI로

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

흐름 따라 읽기

Introduction: Life as we don’t know it?

Artificial Superintelligence 특성화

Universal AI — 이론적 상한 (AIXI)

AGI→ASI 네 가지 기술 경로

§5.1 스케일 확장: 컴퓨트·모델·데이터

§5.2 알고리즘 패러다임 전환과 진화

§5.3 재귀적 자기개선

§5.4 다중에이전트 조정과 집단 행위성

병목과 마찰

Remarks — 예측의 중심 질문들

Outlook — 연구 어젠다와 결론

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 log-loss 사전학습은 보편 압축의 자원제약 근사로 볼 수 있다

💡 ASI 전환은 “단일 도약”이 아니라 네 경로이며, 핵심은 병목의 friction/blocker 판정이다

💡 effective compute는 연 ~10×로 늘지만 “지속가능성”이 진짜 변수다

💡 ASI라도 전지전능하지 않다 — 물리·복잡도·논리 상한이 존재한다

핵심 용어 정리

관련 연구

태그

BibTeX