AI 분야 주목할 연구자 입문

작성일: 2026-10-08
소속과 직함은 바뀔 수 있다. 아래 내용은 Wikipedia, MATS 멘토 페이지, 팟캐스트·언론 보도, 그리고 이 vault에 이미 있는 논문 노트를 근거로 했다. 몇 달 뒤 읽는다면 소속은 본인 홈페이지나 Google Scholar에서 다시 확인한다.

목표: 논문 저자란에서 이 이름을 봤을 때 “이 사람은 어떤 질문을 오래 붙들어 온 사람인지” 바로 떠올리기. 이름을 외우는 게 아니라, 누구를 따라가면 어떤 문제의 최신 흐름을 볼 수 있는지 지도를 갖는 것이 핵심이다.

한 줄로 먼저

세 사람은 “지능을 이해하는” 서로 다른 층을 대표한다. Graves는 신경망이 계산하는 구조를 설계하고, Tenenbaum은 사람의 마음이 어떻게 적은 데이터로 배우는지 모형화하고, Lindsey는 이미 만들어진 언어 모델의 머릿속을 들여다본다.

사람	소속	붙들고 있는 질문	대표 키워드
Alex Graves	InstaDeep (이전 Google DeepMind)	신경망이 메모리와 계산량을 스스로 다루게 할 수 있나?	CTC, NTM, DNC, ACT, BFN
Josh Tenenbaum	MIT 뇌인지과학과	사람은 어떻게 몇 번 보고도 배우나? 그걸 기계에 옮길 수 있나?	베이즈 추론, 확률 프로그램, 직관 물리·직관 심리
Jack Lindsey	Anthropic	언어 모델은 속으로 무슨 생각을 하고, 그걸 자기가 아나?	해석가능성, introspection, persona, Model Psych

   계산 구조를 설계          사람의 마음을 모형화        만든 모델의 속을 관찰
   (Graves)                 (Tenenbaum)                (Lindsey)
   "어떤 구조면 알고리즘을    "사람은 어떤 구조로         "이 모델은 실제로
    배울 수 있나"             세계를 이해하나"            어떤 구조로 생각하나"
        └──────────────┬──────────────┴──────────────┬───────────┘
                       ▼                              ▼
              구조 → 행동 비교                 사람의 인지 ↔ 모델의 내부 표상

이 노트의 구성은 다음과 같다.

장	내용	깊이
1–3	Graves, Tenenbaum, Lindsey	이력, 업적, 이유, vault 노트, 따라가는 법
4	Andrej Karpathy	같은 틀로 정리
5	엔지니어링·시스템·아키텍처 (Tri Dao, Albert Gu, Tim Dettmers 등 9명)	표로 한 줄씩
6	Looped Transformer·재귀 추론 (계보 + 연구자 14명 안팎)	계보표 + 인물표
7	인지과학·인지 아키텍처 (Kahneman, Newell·Laird의 Soar, Anderson·Lebiere의 ACT-R, Dennett, LeCun의 JEPA + 17명 안팎)	깊게 5절 + 표
8	해석가능성·안전·협력 (Olah, Hubinger, Leibo)	표로 한 줄씩

1. Alex Graves: 신경망에 메모리와 “생각할 시간”을 준 사람

누구인가

스코틀랜드 출신 컴퓨터 과학자다. 에든버러 대학에서 이론물리학 학사를 마치고, IDSIA(스위스의 AI 연구소)에서 Jürgen Schmidhuber 지도로 뮌헨공대 박사학위를 받았다(2008, 학위 논문 제목 Supervised Sequence Labelling with Recurrent Neural Networks). 박사 후에는 Schmidhuber와 함께 뮌헨공대에서, 이어서 Geoffrey Hinton과 함께 토론토 대학에서 일했다. 이후 Google DeepMind 연구원으로 NTM·DNC·ACT 같은 대표 작업을 냈다.

현재는 런던의 InstaDeep(BioNTech 자회사)에서 Staff Research Scientist로 표기된다(Wikipedia 기준). 2025년 9월 InstaDeep 블로그에 Bayesian Flow Networks를 소개하는 글이 올라온 것도 이와 맞는다. DeepMind를 언제 떠났는지는 확인하지 못했다. 일부 프로필(Crunchbase, dblp)은 아직 DeepMind로 적혀 있으니, 최신 소속은 직접 확인한다.

대표 업적

연도	작업	한 줄 직관
2006	CTC(Connectionist Temporal Classification)	입력과 출력의 정렬을 미리 안 알려줘도 음성·필기 같은 시퀀스를 신경망으로 학습하게 하는 손실 함수.
2009	필기 인식 대회 우승	CTC로 학습한 LSTM이 패턴 인식 대회를 이긴 첫 RNN.
2014	Neural Turing Machine(NTM)	신경망에 외부 메모리 행렬을 붙이고, attention으로 읽고 쓰게 해서 “컴퓨터 전체를 미분 가능하게” 만든 모델.
2016	Differentiable Neural Computer(DNC, Nature)	NTM을 확장해 메모리 할당과 연결 구조까지 학습하게 한 모델.
2016	Adaptive Computation Time(ACT)	입력마다 “몇 번 더 계산할지”를 네트워크가 스스로 정하게 하는 halting 방식.
2023	Bayesian Flow Networks(BFN)	분포 파라미터를 베이즈 업데이트로 조금씩 고쳐 가며 생성하는 모델. 연속·이산 데이터를 같은 틀로 다루고, text8 문자 단위 언어 모델링에서 기존 이산 diffusion 모델을 앞섰다고 보고했다.

CTC는 지금도 음성 인식에서 쓰인다. NTM과 ACT는 당시에는 작은 합성 과제 위주였지만, “외부 메모리”와 “입력마다 다른 계산량”이라는 아이디어가 이후 attention 메모리, Universal Transformer, looped transformer 계열로 이어졌다.

왜 눈여겨볼 만한가

구조 자체를 질문한다. 모델 크기를 키우는 대신, “어떤 구조여야 알고리즘을 배울 수 있나”를 묻는다. 요즘 looped transformer·재귀 추론 연구(HRM, TRM 등)가 ACT의 후손이다.
같은 사람이 시퀀스 모델링, 메모리, 계산량 제어, 생성 모델 네 갈래를 모두 건드렸다. 한 논문이 아니라 한 사람의 궤적으로 보면 분야의 흐름이 읽힌다.
최근 BFN은 diffusion과 자기회귀 사이의 대안으로 이어지고 있어, 소속이 바뀐 뒤의 방향이 궁금한 사람이기도 하다.

이 vault에서

Neural Turing Machines
Adaptive Computation Time for Recurrent Neural Networks
ACT를 이어받은 계열: Universal Transformers, Understanding Dynamic Compute Allocation in Recurrent Transformers

따라가는 법

Google Scholar에서 “Alex Graves”로 검색해 최신순 정렬. 같은 이름의 다른 연구자와 섞이니 CTC·NTM 인용이 붙은 프로필을 고른다.
BFN 논문: arXiv 2308.07037 (저자 Graves, Srivastava, Atkinson, Gomez).
InstaDeep 블로그에서 BFN을 단백질·생물 데이터에 적용하는 글을 확인.

2. Josh Tenenbaum: “사람처럼 배우는 기계”의 이론가

누구인가

MIT 뇌인지과학과(BCS) 교수이고, CSAIL과 Center for Brains, Minds and Machines(CBMM) 소속이다. 이끄는 연구실은 Computational Cognitive Science(CoCoSci) 그룹이다. 2019년 MacArthur Fellowship을 받았다. 연구 목표를 “사람 지능의 고유한 면을 역공학(reverse-engineer)하고, 그 이해로 더 사람다운 기계 지능을 만드는 것”이라고 밝힌다.

핵심 질문은 하나다. 사람은 어떻게 아주 적은 예시만 보고도 일반화하는가. 딥러닝이 데이터를 엄청나게 먹고 배우는 것과 대비되는 지점이다.

방법론을 세 줄로

베이즈 추론: 마음을 “불확실한 세계에 대한 확률적 추론기”로 본다.
확률 프로그램(probabilistic program): 세계를 생성하는 규칙을 프로그램 형태의 사전 지식으로 둔다. 개념을 배운다는 것을 “관찰된 예시를 높은 확률로 만들어 내는 프로그램을 짓는 일”로 본다.
직관 이론(intuitive theories): 아이도 갖고 있는 직관 물리(물체가 어떻게 움직이나)와 직관 심리(다른 사람이 무엇을 믿고 원하나) 엔진을 모형으로 만든다.

대표 업적

연도	작업	한 줄 직관
2000	Isomap (Science, de Silva·Langford와)	고차원 데이터를 펴서 저차원 구조를 찾는 manifold learning의 고전.
2011	”How to Grow a Mind” (Science, Tenenbaum·Kemp·Griffiths·Goodman)	구조화된 사전 지식과 통계적 학습이 어떻게 함께 작동하는지 정리한 종합 논문.
2013	Simulation as an engine of physical scene understanding (PNAS, Battaglia·Hamrick·Tenenbaum)	사람의 물리 직관을 “머릿속 물리 시뮬레이터 + 불확실성”으로 설명.
2015	Human-level concept learning through probabilistic program induction (Science, Lake·Salakhutdinov·Tenenbaum)	손글씨 문자를 한두 번 보고 배우는 Bayesian Program Learning.
2017	Building machines that learn and think like people (BBS, Lake·Ullman·Tenenbaum·Gershman)	딥러닝이 아직 못 가진 것(인과 모델, 직관 이론, 빠른 학습)을 정리한 입장문.

위 표의 연도와 제목은 Tenenbaum의 이력에서 널리 알려진 논문이다. 정확한 서지는 인용 전에 Google Scholar에서 확인한다.

왜 눈여겨볼 만한가

“LLM은 사람처럼 이해하는가”라는 논쟁의 반대편 기준점이다. 모델의 행동을 사람 인지 실험과 같은 잣대로 재려면 이 그룹의 과제와 모형이 거의 표준 도구가 된다.
사회 인지와 협력 쪽 벤치마크의 단골 공저자다. 이 vault에 이미 있는 AGENT, Watch-And-Help, PHASE 모두 Tenenbaum 연구실이 관여했다. 에이전트의 의도 추론(theory of mind), 사회 규범, 도덕 규칙 같은 주제가 이쪽에서 나온다.
그룹 출신 연구자들이 퍼져 있어서(예: Brenden Lake, Tomer Ullman 등) 한 사람이 아니라 학파로 따라가야 한다.

이 vault에서

AGENT - A Benchmark for Core Psychological Reasoning: 영아 심리 실험을 본뜬 에이전트 의도 추론 벤치마크 (Shu 등, 2021)
Watch-And-Help - A Challenge for Social Perception and Human-AI Collaboration: 사람을 관찰하고 도와주는 AI 협력 과제 (Puig 등, 2021)
PHASE - 기계 사회 지각을 위한 물리 기반 추상 사회 이벤트: 단순 도형으로 보는 사회적 상호작용 (Netanyahu 등, 2021)
Bayesian Inference of Social Norms as Shared Constraints on Behavior: 사회 규범을 공유 제약으로 베이즈 추론 (Tan 등, 2019)
What do moral rules mean: 도덕 규칙의 의미를 모형화 (Kwon, Wong, Tenenbaum, Levine, 2026)
Benchmarking World-Model Learning with Environment-Level Queries: 월드 모델 학습 평가 (Warrier 등, 2025)
How to Grow a Mind - Statistics, Structure, and Abstraction: 계층적 베이즈 모형으로 추상 지식의 쓰임·형태·획득을 설명한 리뷰 (Tenenbaum·Kemp·Griffiths·Goodman, 2011)
Building Machines That Learn and Think Like People: 딥러닝에 없는 인과 모델·직관 이론·빠른 학습을 정리한 입장문 (Lake·Ullman·Tenenbaum·Gershman, 2017)

따라가는 법

MIT CoCoSci 그룹 페이지의 출판 목록과 CBMM 사이트.
저자란에 Tenenbaum, Ullman, Lake, Gershman, Spelke가 함께 나오면 같은 학파 논문으로 본다.
“LLM + theory of mind”, “LLM + intuitive physics” 평가 논문은 대부분 이 그룹의 과제를 가져다 쓴다.

3. Jack Lindsey: Claude의 속을 들여다보는 “모델 심리학자”

누구인가

Anthropic의 Member of Technical Staff이고, 해석가능성(interpretability) 팀 안의 Model Psych(모델 심리, 언론에서는 “AI psychiatry”) 팀을 이끈다. 본인도 정식 직함이 뭔지 잘 모르겠다고 말한 적이 있을 만큼 팀 이름이 느슨하다. 컬럼비아 대학 Center for Theoretical Neuroscience에서 박사학위를 받은 계산 신경과학자다. MATS 프로그램에서 멘토로도 활동한다.

팀이 다루는 주제는 소개 페이지 기준으로 “LLM에서 고차원 인지 현상의 내적 기반”, 즉 introspection, 상황 인식(situational awareness), persona, 감정 표상이다. 이 방법을 실제 배포 모델 감사에도 쓴다. 신경 활동에서 기만, 조작, “지금 평가받는 중”이라는 인식의 신호가 있는지 본다. 보도에 따르면 Claude Sonnet 4.5 출시 전 감사에서 해석가능성 기법으로 모델 내부를 읽어 신뢰성을 검증했고, 최전선 모델에 대한 최초의 이런 감사였다고 한다.

대표 업적

연도	작업	한 줄 직관
2025	On the Biology of a Large Language Model (Transformer Circuits Thread, 제1저자)	attribution graph로 Claude 3.5 Haiku의 계산 과정을 추적. 시를 쓸 때 운율 단어를 미리 계획하는 등의 회로를 보였다.
2025	Emergent Introspective Awareness in LLMs	모델 내부 활성에 “개념”을 몰래 주입(concept injection)하고, 모델이 그걸 알아채는지 확인.
2025	Persona Vectors (공저)	성격 특성(아첨, 악의 등)에 대응하는 활성 방향을 찾아 모니터링·조절.
2024	Scaling Monosemanticity (공저)	Claude 3 Sonnet에서 sparse autoencoder로 해석 가능한 feature를 대규모로 추출.
2026	Natural Language Autoencoders (공저)	활성을 자연어 설명으로 되돌려 읽는 비지도 해석 도구.

introspection 논문의 결과는 조심해서 읽어야 한다. 보도에 따르면 Claude Opus 4와 4.1에서 효과가 가장 컸지만, 성공률은 가장 좋은 조건에서도 약 20%였고 모델이 개념을 못 알아채거나 혼란스러워하는 경우가 많았다. Lindsey 본인도 이 능력이 “매우 제한적이고 맥락 의존적”이며 사람 수준의 자기 인식에 미치지 못한다고 썼다.

왜 눈여겨볼 만한가

해석가능성이 “회로 찾기”에서 “모델의 마음 상태 읽기”로 넘어가는 지점의 대표 인물이다. 계산 신경과학 출신이라 사람 뇌 연구의 문제의식(자기 모니터링, 계획, 감정)을 모델에 그대로 가져온다.
자기 인식, 평가 인식, persona는 안전 평가의 핵심 변수다. 모델이 “평가 중임을 안다”면 벤치마크 결과를 그대로 믿기 어렵다. 이 vault의 생존 압박·협력 벤치마크 계열과 직접 맞닿는다.
논문이 학회 제출이 아니라 Transformer Circuits Thread 같은 자체 게시판에 먼저 올라오는 경우가 많아, arXiv만 보면 놓친다.

이 vault에서

따라가는 법

Transformer Circuits Thread (transformer-circuits.pub): 공개 월간 업데이트와 장문 논문이 올라오는 곳.
Anthropic Alignment 블로그와 Google Scholar의 Jack Lindsey 프로필.
같은 팀의 공저자(Emmanuel Ameisen, Joshua Batson, Samuel Marks 등)가 함께 나오면 같은 흐름이다.

4. Andrej Karpathy: LLM을 밑바닥부터 만들어 보여 주는 엔지니어

누구인가

OpenAI 창립 멤버 출신 연구자이자 엔지니어다. 스탠퍼드에서 컴퓨터 비전 중심으로 박사 과정을 밟았고(CS231n 강의로 유명하다), OpenAI 초기 멤버로 일한 뒤 2017년 Tesla로 옮겨 Autopilot 쪽을 이끌었다. 이후 OpenAI로 돌아갔다가 2024년 초에 나와 AI 교육 회사 Eureka Labs를 세웠다(2024년 7월 공개).

보도에 따르면 2026년 5월 19일 본인이 X에 올려 Anthropic에 합류했다고 밝혔다. 자리는 사전학습(pretraining) 팀이고, 팀장 Nick Joseph 아래에서 Claude를 써서 사전학습 연구 자체를 가속하는 팀을 만든다고 전해진다. Eureka Labs는 닫은 것이 아니라 보류한 것이라는 보도가 많다. 이 부분은 2차 보도 기준이라, 본인 X 계정이나 Anthropic 공지로 확인한다.

대표 업적

시기	작업	한 줄 직관
2015–2016	CS231n, “The Unreasonable Effectiveness of RNNs” 글	컨볼루션 신경망과 RNN을 가장 쉽게 가르친 강의와 블로그.
2017	”Software 2.0” 글	코드를 사람이 쓰는 대신 신경망 가중치가 프로그램이 된다는 관점.
2022–2023	micrograd, makemore, nanoGPT	자동미분, 언어 모델, GPT를 수백 줄 코드로 직접 구현. GPT를 “블랙박스”에서 “읽을 수 있는 코드”로 바꿔 놓았다.
2025.2	”vibe coding” 용어	코드를 읽지 않고 AI에게 말로 시켜 만드는 개발 방식에 붙은 이름.
2025.10	nanochat	토크나이저부터 사전학습, 미세조정, 추론, 웹 UI까지 ChatGPT형 시스템 전체를 작은 코드로 구현.
2026.3	Autoresearch	단일 GPU에서 에이전트가 실험 루프를 반복하며 LLM 연구 일부를 자동화하는 프로젝트.

nanoGPT, nanochat, micrograd를 합친 GitHub 스타가 12만 개를 넘었다는 2026년 7월 기사도 있다(2차 자료).

왜 눈여겨볼 만한가

“이해했는지”의 기준을 코드로 내린 사람이다. “내가 만들지 못하는 것은 이해하지 못한 것”이라는 태도로 모든 것을 밑바닥에서 다시 쓴다. 이 vault의 논문 노트처럼 개념을 읽는 쪽과 반대 방향에서 같은 지점을 만난다.
연구와 엔지니어링의 접점을 보여 준다. 사전학습 비용, 학습 최적화(Flash Attention 3, Muon 같은 도구), 작은 모델 재현 같은 실무 감각이 글과 코드에 그대로 드러난다.
AI 코딩 에이전트 시대의 관찰자이자 사용자다. 2026년 3월 팟캐스트에서 에이전트 팀을 관리하는 일상을 이야기했다. 이 vault의 에이전트·Claude Code 관련 작업과 맞닿는다.

이 vault에서

Karpathy 본인 논문 노트는 없다. 그가 가르치는 대상을 다룬 노트로 Attention Is All You Need, GPT Models, Scaling Laws for Neural Language Models를 먼저 보면 nanoGPT 코드가 훨씬 잘 읽힌다.

따라가는 법

GitHub karpathy의 nanoGPT, nanochat 저장소와 README.
YouTube “Neural Networks: Zero to Hero” 시리즈와 LLM 강의 영상.
X 계정과 Eureka Labs 사이트(현황 확인용).

5. 엔지니어링·시스템·아키텍처에서 볼 사람

논문 저자란보다 저장소와 라이브러리 이름으로 먼저 알려진 사람들이다. 모델을 직접 돌리고 학습시키는 일을 하면 이 이름들이 매일 쓰는 도구 안에 있다.

사람	소속	대표 작업	왜 볼 만한가	vault 노트
Tri Dao	Princeton 조교수, Together AI 최고 과학자	FlashAttention 1–3, Mamba 공저	GPU 메모리 입출력(IO)을 기준으로 알고리즘을 다시 짠다. 어텐션 속도 개선은 대부분 여기서 출발한다. COLM 2024 우수 논문상.	FlashAttention - Fast and Memory-Efficient Exact Attention with IO-Awareness, FlashAttention-2 - Faster Attention with Better Parallelism and Work Partitioning
Albert Gu	CMU 기계학습과 조교수, Cartesia 공동 창업자(최고 과학자로 소개됨)	HiPPO, S4, Mamba	트랜스포머의 대안인 상태공간 모델(SSM, 입력을 순서대로 읽으며 상태를 갱신하는 모델) 계보의 중심. Mamba로 COLM 2024 우수 논문상.	Mamba - Linear-Time Sequence Modeling with Selective State Spaces
Tim Dettmers	Ai2 연구 과학자, CMU 조교수(2025년 가을 부임)	bitsandbytes, QLoRA(NeurIPS 2023)	4비트 양자화로 65B 모델을 48GB GPU 한 장에서 미세조정하게 했다. 적은 GPU로 연구하는 사람에게 가장 실용적인 도구의 제작자.	QLoRA - Efficient Finetuning of Quantized LLMs
Woosuk Kwon	UC Berkeley 출신(PagedAttention 제1저자)	vLLM, PagedAttention	OS의 가상 메모리·페이징을 KV 캐시 관리에 가져와 LLM 서빙 처리량을 크게 높였다. 추론 서버의 사실상 표준. 제1저자는 Kwon과 Zhuohan Li 공동이고 Ion Stoica 등이 공저했다.	PagedAttention - Efficient Memory Management for LLM Serving with vLLM
Noam Shazeer	Google로 복귀한 것으로 알려짐(현직 미확인)	Transformer 공저, MQA, 희소 게이트 MoE, Character.AI 공동 창업	트랜스포머를 싸게 돌리는 거의 모든 기법(Multi-Query Attention, Mixture of Experts)의 원조 아이디어를 낸 사람.	MQA - Fast Transformer Decoding with Multi-Query Attention, GQA - Training Generalized Multi-Query Transformer Models, Attention Is All You Need
Georgi Gerganov	Hugging Face (ggml.ai 팀과 2026년 2월 합류)	llama.cpp, ggml, GGUF	노트북·폰에서 LLM을 돌리게 한 로컬 추론의 중심. 합류 뒤에도 오픈소스와 기술 주도권은 유지된다고 알려졌다.	없음
Boris Cherny	Anthropic, Claude Code 창시자이자 책임자	Claude Code	터미널 에이전트 코딩 도구를 만든 사람. 이 vault를 운영하는 도구의 설계자라서 관심 가질 만하다. 인터뷰에서 AI로 코드를 쓰는 방식 변화를 자주 이야기한다.	없음
Sebastian Raschka	LLM 연구 엔지니어·저자(직함은 본인 홈페이지 기준)	Build a Large Language Model (From Scratch), 추론 모델 책	Lightning AI와 UW-Madison을 거친 교육자. 최신 LLM 구조(어텐션 변형, MoE, 추론 모델)를 코드와 그림으로 비교해 주는 블로그가 유용하다.	없음
Lilian Weng	OpenAI 복귀로 보도됨(2026년 7월 Thinking Machines Lab 퇴사 후)	Lil’Log 블로그, OpenAI 안전 시스템 팀 이전 이끔	에이전트, 보상 해킹, 확산 모델 같은 주제를 하나의 글로 정리하는 서베이 블로그의 표준. 2026년 7월 글에서 재귀적 자기 개선을 다뤘다.	없음

Karpathy와 이 표의 사람들을 합치면 **“모델을 만드는 법(Karpathy) → 빠르게 돌리는 법(Dao, Kwon) → 싸게 쓰는 법(Dettmers, Gerganov, Shazeer) → 다른 구조를 시도하는 법(Gu) → 쓰는 도구를 만드는 법(Cherny)“**의 순서로 읽힌다. 소속은 자주 바뀌므로, Gerganov, Weng, Raschka, Shazeer의 현재 위치는 읽기 전에 확인한다.

6. Looped Transformer·재귀 추론에서 볼 사람

한 줄로 먼저

Looped transformer는 같은 층(또는 층 묶음)을 여러 번 되풀이해서, 파라미터를 늘리지 않고 “깊이”를 늘리는 방식이다. 생각하는 시간을 토큰으로 쓰는 chain-of-thought와 달리, 모델 속(latent)에서 반복하며 생각한다. 이 흐름은 Graves의 ACT에서 시작한다.

계보: 누가 무엇을 열었나

시기	작업	사람	의미
2016	ACT	Alex Graves	입력마다 반복 횟수를 정하는 halting 메커니즘.
2018–19	Universal Transformers	Dehghani, Gouws, Vinyals, Uszkoreit, Kaiser	트랜스포머 층을 반복(weight tying)하고 ACT를 붙인 최초의 대표 사례.
2019	Deep Equilibrium Models	Bai, Kolter, Koltun	층을 무한히 반복했을 때의 고정점(fixed point)을 직접 풀어 상수 메모리로 학습.
2021–22	Can You Learn an Algorithm? / Logical Extrapolation Without Overthinking	Schwarzschild, Bansal, Goldstein 그룹	쉬운 문제에서 배운 반복 연산을 더 많이 돌려 어려운 문제까지 확장. 너무 많이 돌리면 망가지는 “overthinking” 문제와 해법(recall 구조)을 제시.
2023	Looped Transformers as Programmable Computers	Giannou, Rajput, Sohn, K. Lee, J. Lee, Papailiopoulos	반복되는 고정 가중치 트랜스포머가 명령어를 실행하는 컴퓨터가 될 수 있다는 구성적 증명.
2023–24	Looped Transformers are Better at Learning Learning Algorithms	Yang, K. Lee, Nowak, Papailiopoulos	in-context learning에서 looped 구조가 파라미터 효율이 높음.
2024	Looped Transformers for Length Generalization	Fan 등	반복 횟수를 입력 길이에 맞춰 길이 일반화를 개선.
2024.12	Coconut (연속 잠재 공간 추론)	Hao, Tian, Weston 등 (Meta 계열)	생각을 토큰이 아닌 연속 벡터로 이어 가는 이웃 계열.
2025.2	Huginn (recurrent depth)	Jonas Geiping 등	3.5B 모델을 8천억 토큰으로 학습해 “깊이 반복”을 실제 LLM 규모로 확장한 사례.
2025.2	Reasoning with Latent Thoughts	Saunshi, Dikkala, Li, Kumar, Reddi (Google 중심)	k층을 L번 돌리면 kL층 모델에 근접. 추론 능력은 파라미터보다 깊이에 달렸다고 논증.
2025.6	Hierarchical Reasoning Model(HRM)	Guan Wang 등 (Sapient Intelligence)	두 속도의 순환 모듈로 ARC·스도쿠류를 푸는 27M급 모델.
2025.7	Mixture-of-Recursions	Sangmin Bae, Courville 등 (KAIST AI, Mila)	토큰마다 반복 깊이를 다르게 라우팅.
2025.10	Tiny Recursion Model(TRM)	Alexia Jolicoeur-Martineau (Samsung SAIL Montréal)	HRM을 더 단순하게 줄인 7M 파라미터 재귀 모델.
2025.10	Ouro / LoopLM	Rui-Jie Zhu, Bengio, Eshraghian 등	사전학습 단계부터 looped LM을 7.7T 토큰 규모로 학습(2차 자료 기준 수치).
2026	분석·진단 논문들	Blayney 등, Wang 등 외	looped 모델이 실제로 안에서 무엇을 하는지(메커니즘, CoT 감시 가능성, 안정성) 해부하는 후속 연구.

인물과 그룹

사람/그룹	소속(확인된 범위)	한 줄	이 vault의 노트
Tom Goldstein, Avi Schwarzschild, Micah Goldblum, Furong Huang	University of Maryland 중심	반복 신경망의 “쉬운 문제 → 어려운 문제” 논리적 외삽 연구의 원조 그룹. Schwarzschild의 2023 박사학위 논문 제목이 Deep Thinking Systems다.	End-to-end Algorithm Synthesis with Recurrent Networks - Logical Extrapolation Without Overthinking, Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence
Jonas Geiping	논문 표기는 Maryland·Max Planck(MPI-IS) 계열. 현재 소속은 확인 필요	Huginn의 제1저자. 사전학습 모델에 반복을 사후에 심는 retrofit 연구로 이어짐.	Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach
Dimitris Papailiopoulos	UW-Madison(논문 노트 기준), 현재 소속 확인 필요	looped transformer 이론·구성 연구의 중심. Giannou 논문의 마지막 저자.	Looped Transformers as Programmable Computers, Looped Transformers are Better at Learning Learning Algorithms
Kangwook Lee	공저 당시 UW-Madison. 최근 직함은 KRAFTON AI 책임자로 검색됨(미확인)	위 두 논문과 길이 일반화 논문(Fan 등)의 공저자.	Looped Transformers for Length Generalization, Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers
Nikunj Saunshi, Sashank Reddi	Google Research (논문 표기)	반복이 “잠재 사고”로 chain-of-thought를 시뮬레이션할 수 있다는 이론과 실험.	Reasoning with Latent Thoughts - On the Power of Looped Transformers
Alexia Jolicoeur-Martineau	Samsung SAIL Montréal	TRM 제안. 7M 파라미터로 ARC-AGI-1 45%, ARC-AGI-2 8%를 보고(본인 발표 기준). “거대 모델 의존은 함정”이라는 입장. Relativistic GAN의 저자이기도 하다.	Less is More - Recursive Reasoning with Tiny Networks
Guan Wang 등	Sapient Intelligence	HRM 제안. 이후 Poggio 그룹(Ge, Liao, Poggio)이 HRM의 오해와 기여를 분석했다.	Hierarchical Reasoning Model, Hierarchical Reasoning Models - Perspectives and Misconceptions, Dissecting Hierarchical Reasoning Models - A Mechanistic Study
Rui-Jie Zhu, Jason Eshraghian, Yoshua Bengio	ByteDance Seed, UC Santa Cruz	Ouro 계열과 latent reasoning 서베이. Zhu는 RWKV 공동 개발자이며 최근 프로필에 Google DeepMind가 올라 있어 소속은 확인이 필요하다.	Scaling Latent Reasoning via Looped Language Models, A Survey on Latent Reasoning
Sangmin Bae, Aaron Courville	KAIST AI, Mila	층 공유와 재귀 깊이 라우팅(Relaxed Recursive Transformers, Mixture-of-Recursions). Courville은 looped 모델의 메커니즘 분석 논문(Blayney 등)에도 공저한다.	Mixture-of-Recursions - Learning Dynamic Recursive Depths for Adaptive Token-Level Computation, Relaxed Recursive Transformers - Effective Parameter Sharing with Layer-wise LoRA, A Mechanistic Analysis of Looped Reasoning Language Models
J. Zico Kolter	CMU 기계학습과 학과장(2024년 7월~)	DEQ의 공저자. AI 안전·강건성 연구와 OpenAI 이사회 안전보안위원회 위원장으로도 알려져 있다.	Deep Equilibrium Models
Mostafa Dehghani, Łukasz Kaiser	Universal Transformers 저자(현재 소속은 확인 필요)	트랜스포머에 반복과 동적 정지를 붙인 원조. Kaiser는 Transformer 논문 공저자다.	Universal Transformers
Shibo Hao, Yuandong Tian, Jason Weston	UCSD, Meta	Coconut으로 “토큰 대신 연속 벡터로 생각하기” 흐름을 연 이웃 계열.	Training Large Language Models to Reason in a Continuous Latent Space

왜 눈여겨볼 만한가

한 줄기 아이디어가 이론 → 실험 → 대규모 모델로 번지는 과정을 사람 단위로 볼 수 있다. Graves(2016) → Dehghani(2018) → Giannou/Papailiopoulos(2023) → Geiping(2025) → Zhu(2025).
반대 의견도 같이 나온다. HRM에 대한 Poggio 그룹의 분석, Huginn의 잠재 CoT를 의심한 해독 연구처럼, “정말 생각하고 있나”를 묻는 분석 논문이 뒤따른다. 이 vault에 이미 그 노트들이 있다.
파라미터가 작은 모델이 큰 모델을 이긴다는 주장(TRM, Ouro)은 보도가 앞서 나가는 경우가 많다. 수치는 본인 발표인지 독립 재현인지 구분해서 읽는다.

따라가는 법

arXiv에서 looped transformer, recurrent depth, latent reasoning, recursive reasoning 검색. 위 표의 이름이 저자란에 나오면 같은 흐름이다.
vault의 Reasoning - _overview에서 이 계열 논문 묶음을 한눈에 본다.
Hugging Face의 Huginn, Ouro 모델 카드로 실제 모델을 확인한다.

7. 인지과학·인지 아키텍처에서 볼 사람

앞의 장들이 “모델을 어떻게 만들고 돌리나”를 다뤘다면, 이 장은 “마음이 어떻게 작동하나”를 먼저 물은 사람들이다. LLM 에이전트 논문이 “System 1/2”, “cognitive architecture”, “intentional stance”, “global workspace” 같은 말을 쓸 때, 그 말의 원래 주인이 여기 있다.

   빠름/느림의 두 모드          마음 전체를 한 설계도로         마음을 어떻게 "해석"하나
   Kahneman, Stanovich        Newell·Laird(Soar)            Dennett
   "사람은 두 방식으로         Anderson·Lebiere(ACT-R)       "행동을 예측하려면
    생각한다"                  "마음의 부품과 배선은 무엇"      믿음·욕구를 귀속시켜라"
        └──────────────┬──────────────┴──────────────┬───────────┘
                       ▼                              ▼
         LLM 에이전트 설계(CoALA)         "이 모델이 믿고 원한다"는 말의 근거

7-1. Daniel Kahneman과 System 1/2: 누가 이 구조를 만들었나

먼저 정정할 점이 있다. “System 1, System 2”라는 이름은 Kahneman이 만든 것이 아니다. 이 이름은 Keith Stanovich와 Richard West가 2000년 논문에서 붙였고, Kahneman의 책 Thinking, Fast and Slow(2011)가 이를 대중에게 퍼뜨렸다. 빠른 직관과 느린 숙고를 구분하는 이론 자체는 그전부터 여러 분야(추론 심리학, 사회심리학 등)에서 따로 자라 있었고, Stanovich는 이것을 하나의 일반 틀로 묶으면서 중립적인 이름을 붙였다. 이 경위는 검색으로 확인했고, 2000년 논문 원문은 직접 읽지 못했다. 이후 Stanovich 본인도 “System”이라는 말이 오해를 부른다고 보고 “Type 1 / Type 2 처리”라는 표현으로 옮겼다.

사람	무엇을 했나	한 줄 직관
Daniel Kahneman (1934–2024)	Amos Tversky와 휴리스틱·편향 연구, 전망 이론(prospect theory). 2002년 노벨 경제학상(Vernon Smith와 공동, Tversky는 1996년 별세해 수상 못 함). 2024년 3월 27일 별세.	사람은 합리적 계산기가 아니라, 빠른 어림법에 의존하고 그 어림법은 예측 가능하게 틀린다.
Amos Tversky (1937–1996)	Kahneman의 평생 공저자.	위 연구의 절반. 두 사람은 거의 항상 같이 인용된다.
Keith Stanovich	System 1/2 이름의 제안자(West와, 2000). 이후 Type 1/2 처리, “합리성과 지능은 다르다”는 연구.	똑똑한 사람도 합리적이지 않을 수 있다.
Jonathan Evans	이중 처리 이론의 대표 이론가. 추론 연구에서 Type 1/2 구분을 오래 다듬었다.	두 모드가 어떻게 간섭하는지를 정리한 사람.
Gerd Gigerenzer	Kahneman의 비판자. 어림법(fast-and-frugal heuristics)은 편향이 아니라 환경에 맞춘 합리성이라고 주장.	”휴리스틱은 오류”라는 틀 자체에 대한 반론.

왜 AI 쪽에서 눈여겨보나. System 2 추론, 이중 시스템 모델, “느리게 생각하는 모델”이라는 표현이 reasoning 모델 논의에 계속 나온다. 다만 Kahneman 본인도 System 1/2를 “실제 뇌의 두 부품이 아니라 이야기를 쉽게 하려는 의인화 도구”로 썼다는 점을 기억해야 한다(책의 설명 방식. 정확한 문장은 인용 전에 책에서 재확인). 그래서 LLM에 이 비유를 갖다 붙인 논문은 “정말 두 시스템이 있는가, 아니면 말투인가”를 따져 읽는 편이 안전하다.

이 vault에서

System-2 Reasoning via Generality and Adaptation
Pangu Embedded - An Efficient Dual-system LLM Reasoner with Metacognition
곁다리: Yoshua Bengio가 2019년 NeurIPS 기조강연에서 “System 2 딥러닝”을 과제로 제시했다(vault 노트 없음. 날짜와 제목은 기억에 의존).

7-2. 인지 아키텍처: Newell·Simon에서 Soar, ACT-R까지

인지 아키텍처(cognitive architecture)는 “마음이 고정된 부품과 배선으로 이루어져 있고, 그 위에서 지식이 돌아간다”고 보고 그 설계도를 컴퓨터 프로그램으로 쓰는 연구다. 컴퓨터의 CPU·메모리 구조와 그 위에서 도는 프로그램을 구분하는 것과 같은 발상이다. 아키텍처가 고정이므로, 과제가 달라져도 같은 부품으로 사람의 행동을 재현해야 한다.

뿌리: Allen Newell과 Herbert Simon

사람	업적	비고
Allen Newell (1927–1992)	Logic Theorist(1956), General Problem Solver(1959)를 Simon과 만들었다. Unified Theories of Cognition(1990)에서 “마음 전체를 하나의 이론으로”를 주장했다.	1975년 Turing Award(Simon과 공동). Soar의 설계자이고, 아래 Laird의 지도교수.
Herbert Simon (1916–2001)	제한된 합리성(bounded rationality)과 satisficing(충분히 좋은 것에서 멈추기). 1978년 노벨 경제학상.	사람은 최적화하지 못하니 “충분히 좋은 선택”을 한다. Kahneman 계보의 선배이기도 하다.

Newell이 Unified Theories of Cognition에서 한 말의 핵심은 “실험 하나씩 풀어서는 마음을 이해하지 못하니, 모든 과제를 설명하는 단일 아키텍처를 만들라”였다. 이 요구가 Soar와 ACT-R의 출발점이다.

Soar: John Laird, Allen Newell, Paul Rosenbloom

Soar는 Carnegie Mellon에서 Laird, Newell, Rosenbloom이 만들었다. Laird가 1983년 12월 박사논문을 방어했고 지도교수는 Newell이다. 첫 Soar 공개도 1983년이다.
John Laird는 1986년 Michigan EECS 교수로 가서 Soar를 계속 개발했고, Michigan EECS 공지에 따르면 2022년 5월 31일 36년 근무를 마치고 은퇴했다. Soar는 지금도 Laird 그룹이 유지·개발한다고 소개된다.
Paul Rosenbloom은 이후 USC에서 Sigma라는 다른 아키텍처를 만들었다(USC 명예교수로 표기됨).
핵심 아이디어: 모든 문제 해결을 “문제 공간에서의 탐색”으로 본다. 막히면(impasse) 자동으로 하위 목표를 세워 풀고, 그 결과를 규칙으로 저장(chunking)해서 다음엔 바로 쓴다.

이 부분은 내 해석이다. Soar의 “막힘 → 느린 숙고 → 규칙으로 굳어 빨라짐”은 System 2가 System 1로 굳는 과정과 모양이 닮았다. 두 계보가 같은 현상을 서로 다른 말로 부른다고 읽을 수 있다.

ACT-R: John R. Anderson과 Christian Lebiere

John R. Anderson은 Carnegie Mellon 심리학·컴퓨터과학 교수다(1978년 부임, 2002년부터 Richard King Mellon Chair). 2004년 David E. Rumelhart Prize를 받았다. 최신 자료에서도 교수로 표기되나, 퇴임 여부는 확인하지 못했다.
Christian Lebiere는 Anderson의 박사과정 학생이었고, ACT-R을 함께 발전시킨 공동 저자다. 현재 CMU 소속으로 알려졌으나 직함은 확인하지 못했다.
이름의 흐름은 ACT(1976) → ACT*(1983) → ACT-R(1993)이고, 대표 저서는 The Atomic Components of Thought(Anderson & Lebiere, 1998)다. 연도는 기억에 의존했으니 인용 전 재확인한다.
핵심 아이디어: 마음에 **선언 기억(사실, “chunk”)**과 **절차 기억(if-then 규칙, “production”)**이 있고, 사실의 인출 확률은 “얼마나 최근·자주 썼는가”(activation)로 정해진다. 각 모듈을 뇌 영역에 대응시켜 fMRI 데이터와 비교하는 것이 특징이다.
응용: 학생의 지식 상태를 추적하는 Cognitive Tutor(Koedinger 등과 함께)가 대표적이다.

Soar와 ACT-R을 나란히 보면

	Soar	ACT-R
중심 질문	지능적 행동을 만드는 최소 구조는?	사람의 반응 시간·오류를 정밀하게 재현하려면?
학습	막힘 해소 결과를 chunking	기억 활성도의 통계적 갱신
지향	범용 AI 에이전트 쪽	심리 실험과 뇌 영상 대응 쪽

두 계보를 모은 것이 2017년 AI Magazine의 “A Standard Model of the Mind”(Laird, Lebiere, Rosenbloom)다. ACT-R, Sigma, Soar를 비교해 공통 합의점만 추려, 물리학의 표준 모형처럼 “마음의 표준 설계도”를 제안한다. 합의의 근거가 충분하지 않다는 비판(Bello·Bringsjord)도 있다.

LLM 시대와의 연결: CoALA

Sumers, Yao, Narasimhan, Griffiths의 Cognitive Architectures for Language Agents(2023)가 이 계보를 LLM 에이전트로 가져왔다. LLM을 “생성 규칙 하나”로 보고 그 주위에 작업 기억, 장기 기억, 행동 공간을 놓는 틀을 제안한다. 에이전트 논문에서 memory, planning, action loop를 구분해 말한다면 대개 이 틀이 출처다. 저자 중 Shunyu Yao는 ReAct, Tree of Thoughts의 제1저자이고 Tom Griffiths는 Princeton의 계산 인지과학자다(소속은 최신 확인 필요).

Cognitive Architectures for Language Agents
Generative Agents - Interactive Simulacra of Human Behavior: 기억 스트림·반성·계획을 갖춘 에이전트. 인지 아키텍처의 정신을 잇는 사례.

7-3. Daniel Dennett: 마음을 “해석”하는 철학자

Dennett은 “이 시스템이 믿고 원한다”는 말이 언제 정당한가를 가장 집요하게 따진 철학자다. Tufts 대학 교수였고 2024년 4월 19일 82세로 별세했다(명예교수 신분).

개념	내용	AI에서 쓰이는 곳
Intentional stance(지향적 태도)	어떤 대상의 행동을 가장 잘 예측하는 방법이 “믿음과 욕구가 있다고 가정”하는 것이라면, 그렇게 다루는 것이 정당하다. 체스 프로그램을 “이 수를 노린다”고 예측하는 식이다.	LLM의 “목표”, “의도”, “속임수”라는 말의 근거와 한계를 논할 때.
Multiple drafts model(Consciousness Explained, 1991)	의식은 한 곳(데카르트 극장)에 모인 하나의 흐름이 아니라, 뇌 곳곳에서 병렬로 고쳐지는 여러 초안이다.	의식 이론 논쟁에서 GWT와 대조되는 쪽.
Heterophenomenology	의식 연구는 본인의 보고를 “참인 내적 관찰”이 아니라 “설명해야 할 자료”로 다뤄야 한다.	모델이 “나는 의식이 있다”고 말할 때 그 보고를 어떻게 읽을지.
”Counterfeit people”	AI가 사람인 척하는 가짜 사람 생성은 사회적 신뢰를 해치니 규제해야 한다고 주장(2023년 The Atlantic 기고로 기억함).	의인화·기만 논의.

왜 눈여겨볼 만한가. 안전·정렬 논문이 “모델이 목표를 가진다”고 쓸 때, 그 문장은 사실상 intentional stance를 암묵적으로 쓰는 것이다. Dennett을 읽으면 그 문장이 “모델 안에 목표가 실재한다”는 주장인지, “그렇게 보면 예측이 잘 된다”는 주장인지를 구분하게 된다. 이 vault의 생존 압박·자기보존 노트들이 이 지점에서 만난다.

이 vault에서

Formalising the intentional stance 1 - attributing goals and beliefs to stochastic processes: intentional stance를 확률 과정 위에서 정식화한 논문.
Position - Anthropomorphic Misalignment Research Needs Stronger Evidence: 모델에 마음 용어를 쓰는 것의 증거 기준.
Exploring Consciousness in LLMs - A Systematic Survey of Theories, Implementations, and Frontier Risks

7-4. Yann LeCun과 JEPA: “토큰 예측 말고 세계 모델”

LeCun은 LLM의 다음 토큰 예측만으로는 사람 수준 지능에 닿지 못한다고 보고, 그 대안으로 JEPA(Joint Embedding Predictive Architecture, 결합 임베딩 예측 아키텍처)를 밀어 온 사람이다. 이 장의 다른 사람들이 “마음의 구조”를 말했다면, LeCun은 그 구조를 신경망 설계도로 다시 쓴 사람이다.

누구인가

CNN의 개척자다. 손글씨 인식 LeNet(Gradient-based learning applied to document recognition, 1998)으로 알려졌다.
2018년 Geoffrey Hinton, Yoshua Bengio와 Turing Award를 공동 수상했다.
NYU 교수이고, Meta에서 FAIR를 세우고 최고 AI 과학자를 지냈다. 보도에 따르면 2025년 11월 Meta를 떠나 AMI Labs(Advanced Machine Intelligence)를 시작했다. 파리 본사이고 CEO는 Alexandre LeBrun, LeCun은 executive chairman으로 보도된다. 2026년 3월 약 10억 달러 시드 투자를 발표했다고 하나 출처마다 날짜와 금액 표기가 조금씩 달라서, 인용 전에 TechCrunch 같은 1차 보도로 재확인한다.

JEPA를 한 문장으로

JEPA는 가려진 부분을 픽셀·토큰으로 복원하는 대신, 그 부분의 “추상 표현”을 예측하게 하는 구조다. 비유하면, 어제 본 풍경을 한 장씩 똑같이 그려 내라고 하는 대신 “나무가 있고 길이 오른쪽으로 꺾인다” 정도의 요약만 맞히게 하는 것이다. 예측하기 어려운 잔디 한 포기의 모양은 버리고, 예측할 가치가 있는 구조만 남긴다.

구분	생성형(MAE, LLM)	대조·불변형(DINO)	JEPA
무엇을 예측하나	픽셀·토큰	같은 이미지의 다른 뷰가 같은 표현인지	가려진 부분의 표현
약점	중요하지 않은 세부까지 계산을 씀	손으로 짠 증강에 의존	표현이 한 점으로 무너지는 붕괴(collapse)를 막아야 함

붕괴를 막는 장치가 JEPA 설계의 핵심 난제다. I-JEPA는 타겟 인코더를 EMA(지수 이동 평균) 가중치로 유지해 이를 막고, LeCun의 2022년 구상에는 VICReg 같은 정규화 방식이 쓰인다. 이 두 가지는 vault 노트에서 확인한 내용이다.

계보: 구상에서 비디오로

연도	작업	한 줄 직관
2022	A Path Towards Autonomous Machine Intelligence (LeCun, OpenReview 입장문)	월드 모델 중심의 6모듈 인지 아키텍처와 JEPA를 제안한 청사진.
2023	I-JEPA (Assran 등, CVPR)	JEPA를 이미지에 처음 구체화. 증강 없이 블록의 표현을 예측.
2024	V-JEPA (Bardes 등)	비디오로 확장. 픽셀 복원 없이 표현 예측만으로 동작 이해(SSv2)에서 이미지 모델을 크게 앞섬.
2024	IWM (Garrido 등)	predictor를 “이미지 변환의 효과를 예측하는 잠재 공간 월드 모델”로 재해석.
2025	V-JEPA 2	V-JEPA의 후속. vault에 노트 없음. 이름만 노트에서 확인했고 내용은 확인하지 못함.

인지 아키텍처와 System 1/2에 연결되는 지점

2022년 입장문은 이 장의 앞 절들과 거의 같은 질문을 다룬다.

인지 아키텍처다. Configurator, 지각, 월드 모델, 비용, 행위자, 단기 기억의 6모듈로 나뉘고, vault 노트는 이를 Global Workspace Theory와 구조가 닮았다고 짚는다. Soar·ACT-R이 고정 부품과 그 위의 지식을 나눈 것과 같은 발상이다.
Mode-1과 Mode-2가 있다. Mode-1은 지각에서 행동으로 한 번에 가는 반응형이고, Mode-2는 월드 모델로 여러 행동 순서를 시뮬레이션해 비용이 낮은 쪽을 고르는 계획형이다. vault 노트는 이를 Kahneman의 System I·II에 비유한다고 정리한다. 다만 같은 노트가 Mode-2가 진짜 System II 추론인지에는 비판이 있다고 적는다.

왜 눈여겨볼 만한가

LLM 노선의 가장 유명한 반대편 기준점이다. “LLM을 키우면 되는가”라는 논쟁에서 반대 입장은 대개 LeCun으로 대표된다. 이 논쟁을 읽을 때는 그의 입장이 보도·인터뷰에서 자주 거칠게 요약되므로, 본인 논문과 발언 원문으로 확인하는 편이 낫다.
월드 모델 연구의 중심축이다. vault의 World-Model 묶음(Dream to Control, World Models, Dyna-Think 등)을 읽을 때 JEPA는 “픽셀을 그리지 않는 월드 모델”이라는 위치를 갖는다.
돈과 사람이 움직이는 중이다. AMI Labs는 JEPA 기반 세계 모델을 산업·로봇·의료에 적용한다고 보도된다. 결과물은 아직 검증되지 않았으므로 논문이 나오는지 지켜볼 대상이다.

이 vault에서

A Path Towards Autonomous Machine Intelligence: 6모듈 구조, Mode-1/2, JEPA와 VICReg
Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture: I-JEPA
Revisiting Feature Prediction for Learning Visual Representations from Video: V-JEPA
Learning and Leveraging World Models in Visual Representation Learning: IWM
대비 대상: Masked Autoencoders Are Scalable Vision Learners, Emerging Properties in Self-Supervised Vision Transformers

따라가는 법

LeCun의 X·LinkedIn 계정과 NYU 페이지에서 JEPA 발언을 원문으로 확인한다.
arXiv에서 “JEPA” 키워드를 최신순으로 정렬해 FAIR 외 그룹의 후속 작업을 본다.
AMI Labs의 공식 발표나 논문 공개 여부를 주기적으로 확인한다.

7-5. 인지 쪽에서 함께 볼 사람

위 사람들보다 간략하게 적는다. 소속은 변동이 잦아 쓰지 않거나 “확인 필요”로 표시했다.

묶음	사람	한 줄	vault 노트
마음의 구조	Marvin Minsky (1927–2016)	The Society of Mind(1986). 마음을 단순한 에이전트 여럿의 사회로 본다. 다중 에이전트 LLM 설계의 오래된 조상 격이다.	없음
의식 이론	Bernard Baars, Stanislas Dehaene	Baars가 Global Workspace Theory(1988)를 제안하고, Dehaene가 이를 신경과학 실험으로 발전시켰다(Global Neuronal Workspace). LLM에 “작업공간”이 있는지 묻는 논문의 출발점.	Global Workspace Theory(GWT), Verbalizable Representations Form a Global Workspace in Language Models
의식 이론	David Chalmers, Anil Seth	Chalmers는 “의식의 어려운 문제”와 LLM 의식 가능성 논의로, Seth는 의식을 예측하는 뇌의 통제된 환각으로 설명하는 접근으로 알려졌다.	What is consciousness, and could machines have it
의식 이론	Murray Shanahan	LLM을 “역할극을 하는 시뮬레이터”로 보는 관점과 AI의 global workspace 연구로 알려졌다(소속 확인 필요).	없음
예측·행위	Karl Friston	자유 에너지 원리와 active inference. 뇌를 예측 오차를 줄이는 기계로 본다.	Active Inference as a Model of Agency
발달·생득 지식	Elizabeth Spelke, Susan Carey	아기가 이미 가진 핵심 지식(core knowledge: 물체, 수, 행위자)을 밝혔다. Chollet의 ARC 설계 근거이기도 하다.	Core Knowledge, On the Measure of Intelligence
발달·학습	Alison Gopnik	아이를 “작은 과학자”로 보는 연구. LLM을 지능이 아니라 문화 기술(cultural technology)로 보자는 논지로도 알려졌다(후자는 기억에 의존).	없음
인지 모형 계보	Tom Griffiths, Noah Goodman, Tomer Ullman	Tenenbaum 계보와 이어지는 계산 인지과학. Griffiths는 CoALA 공저자.	How to Grow a Mind - Statistics, Structure, and Abstraction
연결주의	Jay McClelland, David Rumelhart (1942–2011)	PDP 연구로 신경망을 인지 모형으로 정립했다. 기호 대 연결주의 논쟁의 한쪽 축.	없음
비판·유추	Gary Marcus, Melanie Mitchell, Douglas Hofstadter	Marcus는 신경-기호 결합과 LLM 회의론, Mitchell은 유추와 추상 능력 평가(ARC 관련), Hofstadter는 유추가 인지의 핵심이라는 입장으로 알려졌다.	ARC-AGI - Abstraction and Reasoning Corpus ⭐
AI 쪽에서 인지로	Yoshua Bengio, François Chollet	Bengio는 System 2·의식 사전 가설, Chollet은 지능의 정의와 ARC. 소속은 최근 바뀌었을 수 있어 확인 필요. LeCun은 7-4에서 따로 다뤘다.	On the Measure of Intelligence

읽는 순서 추천. 입문은 Kahneman Thinking, Fast and Slow → Dennett Intuition Pumps and Other Tools for Thinking → CoALA 논문. 아키텍처를 깊게 보려면 Laird의 Soar 책(MIT Press, 2012)이나 ACT-R 공식 사이트의 튜토리얼에서 시작한다. 책 제목과 연도는 기억에 의존했으니 구매 전 확인한다.

8. 함께 볼 만한 사람: 해석가능성·안전·협력

이 vault 논문 노트에서 반복해서 보이는 이름이다. 위 사람들보다 간략하게만 적는다.

사람	소속	한 줄	vault 노트
Chris Olah	Anthropic 공동 창업자	mechanistic interpretability의 개척자. Google Brain, OpenAI를 거쳤고, circuits와 feature 중심의 해석 연구를 이끈다. Lindsey가 속한 해석가능성 팀의 뿌리다.	Scaling Monosemanticity - Extracting Interpretable Features from Claude 3 Sonnet, A Mathematical Framework for Transformer Circuits
Evan Hubinger	Anthropic	정렬 스트레스 테스트(alignment stress-testing)를 이끈다. MIRI 시절 “Risks from Learned Optimization”(2019)으로 deceptive alignment 개념을 알렸고, 모델이 일부러 숨기는 행동을 실험으로 만들어 본다.	Sleeper Agents - Training Deceptive LLMs that Persist Through Safety Training
Joel Z. Leibo	Google DeepMind (King’s College London 방문교수)	다중 에이전트 협력과 사회적 일반화를 평가한다. Melting Pot과 LLM 에이전트용 시뮬레이션 플랫폼 Concordia를 이끌었다.	Scalable Evaluation of Multi-Agent Reinforcement Learning with Melting Pot

Hubinger는 현재 직함이 자료마다 달라서 최신 직함은 확인하지 못했다. 위 표의 설명은 팟캐스트와 2차 소개글 기준이다.

전체를 한 줄로 이어 읽기

Graves → 구조: 모델이 메모리와 계산량을 어떻게 쓰게 만들 것인가. 6장 looped transformer 계보의 출발점.
Tenenbaum → 비교 기준: 사람의 인지가 어떻게 작동하는지의 모형. 모델이 “이해한다”고 말하려면 이 기준과 비교해야 한다.
Lindsey → 관찰: 이미 학습된 모델이 안에서 무슨 일을 하는지. 자기 인식, 평가 인식, 성격 같은 안전 쟁점이 여기서 나온다.
Karpathy와 엔지니어들 → 구현: 위 아이디어가 실제로 돌아가는 코드와 시스템. 이해를 코드로 검증하는 층이다.
인지과학자들 → 개념의 원산지: System 1/2(Kahneman, Stanovich), 인지 아키텍처(Newell·Laird, Anderson·Lebiere), intentional stance(Dennett), 월드 모델과 JEPA(LeCun). LLM 에이전트 논문의 용어를 원래 뜻으로 읽게 해 준다.
Looped transformer 연구자들 → 확장: Graves의 ACT가 파라미터 효율과 잠재 추론의 대규모 실험으로 번지는 현재진행형 줄기.

여러 층을 한 번에 묻는 질문이 이 방향의 핵심이다. “이 구조는 사람이 세계를 이해하는 방식과 비슷한가? 모델 내부를 읽으면 실제로 그렇게 작동하는가? 그리고 그것을 싸고 빠르게 구현할 수 있는가?”

출처

Alex Graves 이력: Wikipedia, Alex Graves (computer scientist), Bayesian Flow Networks (arXiv 2308.07037), InstaDeep BFN 소개글, 2025-09
Josh Tenenbaum 소개: Simons Foundation 팀 페이지, Fields Institute 강연 “Building machines that learn and think like humans”, MIT ILP 프로필
Jack Lindsey 소개: MATS 멘토 페이지, Niskanen Center 인터뷰 “AI Psychology with Jack Lindsey”
Karpathy: VentureBeat, Anthropic 합류 발표 보도, The Decoder, nanochat·nano 시리즈 정리(StartupHub, 2026-07). 모두 2차 보도이므로 본인 X 계정과 GitHub로 재확인한다.
엔지니어링: Tri Dao, Princeton 프로필, Together AI 블로그, Albert Gu, EPFL 세미나 소개, Tim Dettmers 소개 페이지, vLLM 블로그, Simon Willison, ggml.ai의 Hugging Face 합류, Pragmatic Engineer, Boris Cherny 인터뷰, Sebastian Raschka 소개, Lilian Weng 퇴사·복귀 보도 (DealRoom)
Looped transformer: Huginn(arXiv 2502.05171), Reasoning with Latent Thoughts(arXiv 2502.17416), Looped Transformers as Programmable Computers(ICML 2023), Ouro(arXiv 2510.25741), TRM(arXiv 2510.04871), Schwarzschild 학위논문(UMD), Zico Kolter, CMU 학과장 임명
인지과학: Soar, Wikipedia, John Laird 은퇴 공지(Michigan EECS), Laird 경력, John R. Anderson, Wikipedia, Anderson Rumelhart Prize(CMU, 2003 공지), A Standard Model of the Mind(AI Magazine 2017), LeCun의 Meta 퇴사 보도(CNBC), AMI Labs 소개(Built In), AMI 시드 투자(Futurum, 2차), Daniel Dennett, Wikipedia, Kahneman 별세 보도(Korea Times), System 1/2 용어 경위(LessWrong 정리, 2차)
함께 볼 사람: Olah 소개(2차), Hubinger, AXRP 39회, Melting Pot 문서
논문 연도·제목은 위 링크와 이 vault 논문 노트의 frontmatter를 따랐다. 표에서 “확인 필요”, “미확인”으로 적은 소속과 Tenenbaum·Karpathy 이력 중 검색으로 확인하지 못한 부분(CS231n·박사 과정, “Software 2.0”과 RNN 블로그 글의 연도, “vibe coding” 시기 등)은 기억에 의존했으므로 인용 전 재확인이 필요하다.