Building Machines That Learn and Think Like People: 사람처럼 배우고 생각하는 기계의 핵심 재료

개요

2016년 무렵 딥러닝은 사물 인식, 음성 인식, Atari 게임에서 사람과 비슷하거나 더 나은 점수를 내며 “뇌를 닮아서 사람처럼 배운다”는 기대를 받았다. 이 논문은 점수가 같다고 배우는 방식까지 같은 것은 아니라고 지적한다. 사람은 새 손글씨 문자를 한 번 보고 알아보고, 새 문자를 직접 쓰고, 획으로 쪼개고, 비슷한 스타일의 새 문자를 지어낸다. 반면 MNIST 신경망은 숫자마다 6,000장을 본다. Atari 게임 Frostbite에서도 사람 전문가는 게임당 약 2시간 연습했는데, DQN은 약 924시간 분량을 보고도 사람 점수의 10%에 못 미쳤다. 저자들의 통찰은 이 차이가 데이터 양이 아니라 배우는 대상에서 온다는 것이다. 신경망은 입력과 정답을 잇는 패턴 인식을 배운다. 사람은 세상이 어떻게 돌아가는지 설명하는 인과 모델을 짓는다(model building). 과학자가 자연을 예측만 하지 않고 설명하려 하는 것과 같다. 그래서 저자들은 사람다운 기계에 필요한 재료를 세 묶음으로 제안한다. 첫째는 아기 때부터 있는 “시작 소프트웨어”인 직관 물리(물체는 사라지지 않고 서로 뚫고 지나가지 않는다는 기대)와 직관 심리(다른 존재가 목표와 믿음을 가지고 움직인다는 이해)다. 둘째는 모델을 빠르게 짓게 하는 조합성·인과·learning-to-learn이다. 셋째는 그렇게 지은 풍부한 모델을 실시간으로 쓰게 하는 빠른 근사 추론이다. 근거로 든 사례는 저자들의 이전 연구인 Bayesian Program Learning(BPL)이다. BPL은 문자를 “획을 어떻게 긋는가”라는 작은 확률 프로그램으로 표현한다. 이 방식으로 5개 알파벳(약 150개 문자)만 미리 학습하고도 사람 수준의 one-shot 분류를 해냈다. 같은 조건에서 가장 좋은 합성곱 신경망은 오류율이 사람의 약 5배였다(23% 대 4%).

Implication: 사람다운 AI의 기준은 한 과제의 최종 점수가 아니라 “사람만큼 적은 데이터로 배우고, 배운 것을 목표와 입력이 바뀐 새 과제에 다시 쓰는가”다. 저자들은 신경망을 버리자는 것이 아니라, 빠른 패턴 인식은 구조화된 인과 모델 위의 추론을 돕는 부품으로 쓰자고 제안한다. 다만 이 글은 입장문이라 자체 실험이 없고, 사람 쪽 Frostbite 점수는 저자 2인의 비공식 플레이 기록이다.

📎 https://arxiv.org/abs/1604.00289

배경과 문제

어떤 상황에서 나온 글인가. 2012년 이후 deep learning(층을 여러 개 쌓은 신경망 학습)은 사물 인식에서 이전 최고 오류율을 거의 절반으로 줄였다. 음성 인식에서는 1980년대 말부터 주류였던 HMM(Hidden Markov Model, 숨은 상태가 확률적으로 바뀐다고 보는 모델)을 밀어냈다. 강화학습과 결합한 DQN은 픽셀과 점수만 보고 여러 Atari 게임을 사람 수준으로 했다(Section 1, p.2, author-stated). 언론은 이 성공을 “뇌를 닮은 계산 덕분”이라고 소개했다. 저자들은 이 분위기를 “기계가 사람처럼 배우고 생각한다는 것이 무슨 뜻인가”를 따져 볼 기회로 삼는다(Section 1, p.2, author-stated).

두 가지 계산 관점. 저자들이 그은 가장 큰 구분은 다음 둘이다(Section 1, p.2, author-stated).

statistical pattern recognition(통계적 패턴 인식) 관점: 예측이 중심이다. 학습은 많은 데이터에서 같은 정답(분류의 라벨, 강화학습의 가치)을 공유하는 특징을 찾는 일이다.
model-building(모델 짓기) 관점: 세계의 모델이 중심이다. 인지는 그 모델로 본 것을 설명하고, 일어나지 않은 일을 상상하고, 행동을 계획하는 일이다.

저자들은 사람의 생각이 근본적으로 후자라고 본다. 패턴 인식은 핵심은 아니어도 “model-free” 알고리즘으로 추론을 빠르게 만들어 모델 짓기를 도울 수 있다고 쓴다(Section 1, p.2, author-stated).

학술 계보. Section 2(p.6–8)가 계보를 직접 정리한다(author-stated).

Turing(1950)은 어른 지능을 통째로 만들기보다 “아이 기계”를 만들어 가르치자고 했다. 아이의 마음은 메커니즘이 적고 빈 페이지가 많은 공책이라고 비유했다. 저자들은 이 생각이 행동주의, 그리고 현대 연결주의의 강한 경험주의(감각 입력의 통계 패턴에서 거의 모든 것을 배운다는 생각)와 닮았다고 본다.
초기 AI는 인지과학과 가까웠다. Newell과 Simon의 General Problem Solver는 AI 알고리즘이자 사람 문제 해결 모델이었다. Minsky(1974)는 사람 사고 이론과 지능 기계 설계 사이에 경계를 두지 않았다. 이 흐름은 대체로 지식이 기호(symbol)로 표현된다고 가정했다.
다른 한쪽에는 뉴런을 닮은 “하위 기호(sub-symbolic)” 계산이 있었고, 이것이 PDP(parallel distributed processing, 단순한 단위 여럿이 지식을 나눠 담는 병렬 분산 처리)로 자랐다. 저자들은 현대 deep learning이 PDP와 같은 표현 가정과 학습 알고리즘을 공유한다고 본다.
PDP는 과거형 규칙, 저울 문제 규칙, 생물 분류 나무처럼 구조화된 지식을 가진 “것처럼” 행동하는 네트워크를 보여 줬다. 저자들은 여기서 질문을 던진다. 비교적 일반적인 신경망만으로 사람다운 학습 기계까지 갈 수 있는가(Section 2, p.8)?

저자들이 보는 기존 접근의 한계. 인지과학에서 “마음은 초기 제약이 거의 없는 범용 신경망의 모음”이라는 주장은 꽤 극단적인 입장이다. 대신 수·공간·행위자·물체 같은 핵심 개념의 초기 inductive bias(귀납 편향, 데이터를 보기 전부터 가진 가정), 그리고 사전 지식으로 적은 데이터에서 배우는 학습 알고리즘이 중요하다는 그림이 자리 잡았다(Section 3, p.8, author-stated).

이 글이 아닌 것. 저자들은 범위를 분명히 한다(Section 1.1, p.3–5, author-stated).

신경망 비판의 오랜 계보(Minsky & Papert 1969, Fodor & Pylyshyn 1988, Marcus 등)를 잇지만, 목표는 신경망의 성공 위에 쌓는 것이다.
사람의 인지를 본뜨려는 AI만 다룬다. 인지적 영감을 쓰지 않는 AI 연구에는 이 글이 별로 해당하지 않는다고 스스로 쓴다. 각주 1에서 “인공 비행은 새를 흉내 내기를 멈췄을 때 성공했다”는 Russell과 Norvig의 말을 인용한다.
확률적 머신러닝(probabilistic programming 등)도 중요하다고 보지만 자세한 논의는 범위 밖이라고 둔다.

지표

해당 없음. 이 글은 입장문(position paper)이고, 저자들이 새로 실험하거나 새 지표를 정의하지 않는다. 비교에 쓰이는 숫자는 모두 인용한 선행 연구에서 가져왔거나, Frostbite의 경우 저자 2인의 비공식 플레이 기록이다.

참고로 본문 비교에 등장하는 측정값은 다음과 같다. 정의는 인용 원문에 있고 이 글에는 자세히 나오지 않는다.

측정값	뜻과 방향	이 글에서 쓰이는 곳	원문 위치
test error(%)	테스트 오분류 비율. 낮을수록 좋다.	MNIST 비교, one-shot 분류(23% 대 4%)	Section 3.1 p.9, 각주 8 p.30
Frostbite Score	게임 점수. 높을수록 좋다. “human starts” 측정(사람 플레이에서 뽑은 시작 지점에서 출발해 외운 행동열을 쓰지 못하게 함)을 쓴다. 무작위 플레이는 66.4점.	Figure 3, Section 3.2	p.12 각주 3, p.13 Figure 3 캡션
전문가 점수 대비 %	기계 점수를 Mnih et al.(2015)의 전문 게이머 점수로 나눈 값. 높을수록 좋다.	DQN <10%, DQN+ 83%, DQN++ 96%	Section 3.2, p.12
game experience(시간)	60 fps 기준으로 본 게임 프레임을 시간으로 바꾼 값. experience replay로 다시 본 횟수는 넣지 않는다. 학습 효율 비교에서는 적을수록 좋다.	Figure 3 x축, 924시간 대 약 2시간	p.12, Figure 3 캡션

방법과 벤치마크 구성

이 글은 실험 논문이 아니므로, 여기서는 논증이 어떻게 짜여 있는지를 정리한다.

논증의 뼈대

두 도전 과제로 사람과 딥러닝의 차이를 보인다(Section 3).
사람 지능의 핵심 재료를 세 묶음으로 제안하고, 재료마다 당시 신경망 연구와 비교한다(Section 4).
자주 받는 반론 세 가지에 답한다(Section 5).
유망한 딥러닝 흐름과 실용 응용을 전망한다(Section 6).

저자들은 “핵심 재료”가 꼭 타고난 것이라는 뜻은 아니라고 못 박는다. 재료가 학습되었든 내장되었든, 사람다운 학습에서 실제로 작동한다는 것이 주장이다(Section 4, p.15, author-stated).

도전 과제 1: Characters Challenge (Section 3.1, p.9–10)

과제: 손글씨 문자 인식. 2차원이고 배경과 분리되어 있고 대체로 가려지지 않아 일반 사물 인식보다 단순하지만, 사람이 문자에서 보는 구조는 풍부하다.
기준선: MNIST는 숫자마다 6,000장, 총 60,000장으로 학습한다. K-nearest neighbors 5%, SVM 약 1%, 합성곱 신경망 1% 미만, 최고 deep convnet 0.2%의 테스트 오류를 낸다.
사람과의 차이: 사람은 (i) 예 하나로 새 문자를 알아보고, (ii) 새 예를 그리고, (iii) 획과 관계로 쪼개고, (iv) 관련 문자들에서 새 문자를 지어낸다(Figure 1A). 저자들은 이것을 “개념을 배운다”고 부른다. 개념은 그 부류의 모델이며, 배운 지식을 새로운 방식으로 쓰게 해 준다.
도전의 정의: “적은 데이터로 더 많이 배우는” 사람 수준의 학습을 기계로 구현하는 것. 저자들의 BPL이 진척을 냈지만 사람이 쓰는 획 사이 관계의 종류가 훨씬 많고, 사람은 여러 예를 합쳐 ‘7’의 가로줄처럼 선택적인 요소를 알아낸다.

도전 과제 2: Frostbite Challenge (Section 3.2, p.10–15)

게임: 1983년 Atari 게임. 플레이어는 좌우로 움직이는 얼음 위를 뛰어다니며 흰색(활성) 얼음을 밟을 때마다 이글루 조각을 얻고, 다 지으면 시간 안에 이글루로 들어가야 한다. 물고기는 보너스, 새·게·곰 등은 위험이다(Figure 2).
DQN: 합성곱 신경망(패턴 인식기)과 model-free 강화학습 알고리즘인 Q-learning을 결합했다. 49개 게임 중 29개에서 사람 수준 이상을 냈지만, 시간적으로 긴 계획이 필요한 Frostbite 같은 게임에서는 고전했다. 게임마다 처음부터 새로 학습했다.
비교 축: 학습에 쓴 경험의 양(Figure 3), 초기 학습 속도, 중간 보상 의존, 입력·목표 변화에 대한 유연성.
유연성 사고실험: 저자들은 같은 게임을 다른 목표로 하라는 11가지 예를 든다. 가장 낮은 점수 받기, 친구를 아슬아슬하게만 이기기, 가능한 빨리 죽기, 화면의 모든 얼음을 정확히 한 번씩 밟기, 친구에게 가장 효율적으로 가르치기 등이다(p.14). 사람은 거의 재학습 없이 이런 새 목표를 받아들이지만, 신경망은 새 과제를 더하려면 상당한 재학습이나 재구성이 필요하다고 쓴다.
예상 반론과 답: “사람은 사전 경험이 많으니 같은 과제를 푸는 것이 아니다”라는 리뷰어 지적에 저자들은 동의한다. 오히려 그것이 요점이다. 사람은 결코 맨바닥에서 시작하지 않고, 사람다운 기계도 그런 과제를 피하지 말고 정면으로 다뤄야 한다(p.14–15, author-stated).

핵심 재료 1: 발달 초기의 시작 소프트웨어 (Section 4.1)

인지 발달 연구는 아주 어릴 때부터 수, 공간, 물리, 심리라는 핵심 영역(core domain)이 있다고 본다. 각 영역은 과학 이론처럼 인과 구조를 가진 “intuitive theory(직관 이론)“로 이해할 수 있다(p.15–16). 저자들은 그중 물체와 행위자에 집중한다.

Intuitive physics(직관 물리, Section 4.1.1): 생후 2개월 무렵, 어쩌면 더 일찍, 아기는 물체가 지속되고 연속적으로 움직이고 뭉쳐 있고 단단하다고 기대한다. 6개월 무렵에는 강체·연체·액체를 다르게 기대하고, 첫돌까지 관성·지지·담기·충돌 개념을 거친다(p.16). 저자들이 지지하는 계산 설명은 intuitive physics engine이다. 게임 물리 엔진처럼 장면을 물체·질량·마찰·힘으로 재구성하고 시뮬레이션해 예측한다는 가설이다(Figure 4). 이 방식은 블록을 스티로폼으로 바꾸거나 중력을 뒤집는 식의 반사실적 질문에도 새 학습 없이 답할 수 있다.
- 신경망 쪽 비교: Lerer et al.(2016)의 PhysNet은 블록 탑 안정성을 예측해 실제 사진에서 사람 수준을, 합성 이미지에서 사람 이상을 냈다. 하지만 2–4개 정육면체 탑이라는 좁은 장면의 한 과제(쓰러지는가?)를 배우는 데 100,000–200,000개 장면이 필요했다. 일반화도 2–3개 탑에서 4개 탑으로 가는 정도로 제한적이었다(p.18, author-stated).
Intuitive psychology(직관 심리, Section 4.1.2): 말을 배우기 전 아기도 생물 행위자와 무생물 물체를 구분한다. 행위자가 목표를 가지고 제약 안에서 효율적으로 움직인다고 기대한다. 생후 3개월 무렵에는 남을 방해하는 행위자를 중립 행위자와 구분하기 시작한다(p.19).
- 단서 기반 설명의 한계: “B가 A의 길을 막으면 B를 나쁘게 본다”는 단서는 쉽게 계산된다. 하지만 A가 원래 나쁜 쪽이거나, 상자 안에 A가 모르는 해로운 것이 있으면 해석이 뒤집힌다. 단서 규칙은 “…다만 이 경우는 빼고, 또 이 경우도 빼고”로 끝없이 꼬인다(p.19–20).
- 대안: Bayesian inverse planning(베이지안 역계획, “Bayesian theory-of-mind”) 같은 행동 선택의 생성 모델이다. 행위자를 대략 합리적인 계획자로 보고, MDP(Markov Decision Process, 상태·행동·보상으로 짠 의사결정 문제)나 POMDP의 해로 계획을 표현한다. 이것을 거꾸로 돌리면 행동에서 효용과 믿음을 추론할 수 있다. 직관 물리와 달리 “남이 남을 생각하는 것”을 재귀적으로 겹칠 수 있다(p.20).
- Frostbite와의 연결: 전문가 플레이를 보면 새를 피하는 행동에서 “새는 위험하다”는 믿음을 추론할 수 있다. 새에 부딪혀 죽는 경험을 한 번도 하지 않아도 된다(p.21).

핵심 재료 2: 빠른 모델 짓기로서의 학습 (Section 4.2)

문제 제기: 신경망 학습 알고리즘(perceptron, Hebbian, backpropagation 등)은 연결 강도를 조금씩 조정한다. 아이는 단어 뜻을 아주 적은 데이터로 일반화한다. 말을 시작한 뒤 고등학교 끝까지 하루 9–10개 새 단어를 배운다. 어른도 처음 보는 두 바퀴 탈것 사진 한 장으로 개념의 경계를 잡는다(p.22, author-stated). 저자들은 학교에서 배우는 미적분·DNA 같은 개념은 사람도 느리게 배우고, 금융·날씨 데이터처럼 기계가 더 잘하는 영역도 있다고 인정한다. 이 절은 “아이가 단어 뜻으로 배우는 인지적으로 자연스러운 개념”에 집중한다(p.22).
사례 연구 BPL(Bayesian Program Learning): 개념을 실행하면 새 예를 만들어 내는 단순한 확률 프로그램으로 표현한다(Figure 5A). 상위 프로그램이 문자 유형을 만들고, 문자 유형 자체가 다시 실행되어 같은 문자의 여러 손글씨를 만드는 계층 구조다. BPL은 one-shot 분류에서 사람 수준을 내고 당시 합성곱 신경망(Koch et al. 2015)을 앞섰다. 새 예 생성, 부분 분해, 같은 알파벳 스타일의 새 문자 생성에서는 “visual Turing test(사람과 기계 산출물을 구별하게 하는 시험)“로 평가했다(p.23–24, author-stated). 각주 7은 Matching Networks가 서로 다른 알파벳 사이 구별에서 좋은 one-shot 성능을 내지만, 같은 알파벳 안에서 평가한 BPL과 직접 비교되지 않았다고 쓴다.
Compositionality(조합성, Section 4.2.1): 유한한 기본 요소를 조합해 무한한 표현을 만드는 성질이다. 두 바퀴 탈것은 바퀴·발판·기둥·손잡이의 조합으로, 문자는 획·하위 획·관계의 조합으로 표현된다. Frostbite 장면도 새·물고기·얼음·이글루라는 물체 유형의 조합이다. 신경망도 깊은 층에 부분 같은 특징을 갖고, Eslami et al.(2016)이나 hierarchical-DQN(Kulkarni et al. 2016)처럼 조합성을 더 명시하는 시도가 있다(p.25–26).
Causality(인과, Section 4.2.2): 모든 generative model(생성 모델, 데이터 분포를 기술하는 모델)이 인과적이지는 않다. 인과 모델은 데이터가 실제로 만들어지는 과정을 추상적인 수준에서 닮은 생성 모델이다. Deep Belief Network나 VAE가 그린 숫자는 그럴듯하지만 생성 단계가 실제 글씨 쓰기와 거의 닮지 않아 “인과성 스펙트럼”의 한쪽 끝에 있다. BPL은 획을 긋는 순서를 닮았다(p.27). 인과 지식은 사람의 범주 학습을 바꾸고, 장면 이해에도 필요하다(Figure 6). 신경망 쪽 시도로 Lopez-Paz et al.(2015), Graves(2014)의 필기체 생성, DRAW와 그 one-shot 변형(Rezende et al. 2016)을 든다. 저자들은 DRAW 변형이 어떤 경우에는 너무 넓게 일반화해 사람답지 않고, visual Turing test를 통과할지는 분명하지 않다고 평가한다(p.28).
Learning-to-learn(학습하는 법 배우기, Section 4.2.3): 관련 과제를 먼저 배워 새 과제 학습을 빠르게 하는 것이다. 머신러닝의 transfer learning, multi-task learning, representation learning과 가깝다. 계층 베이지안 모델에서는 여러 개념이 공유하는 상위 사전분포를 개념들을 배우면서 함께 학습한다(p.29). BPL은 부분·하위 부분·관계, 그리고 “한 문자 안에서 보통 얼마나 흔들리는가”까지 배워 예 하나로 일반화 폭을 정한다. 다만 저자들은 BPL의 중요한 구조 일부가 배경 학습이 아니라 사전분포에 내장되어 있다고 스스로 밝힌다(p.30). Actor-mimic은 13개 게임(게임당 약 4백만 프레임, 18.5시간)을 먼저 배워 새 게임 학습을 4–5백만 프레임에서 1–2백만 프레임으로 줄였지만, 저자들은 일화적으로(anecdotally) 사람은 몇 분이면 그 점수에 닿는다고 쓴다(p.31).

핵심 재료 3: 빠른 생각 (Section 4.3)

구조화된 모델의 근사 추론(Section 4.3.1): 프로그램 공간 전체의 확률 분포를 계산하는 것은 보통 다룰 수 없을 만큼 어렵다(intractable). 사람이 Monte Carlo 표집으로 베이지안 추론을 근사한다는 제안이 있다. 이것은 아이들 응답의 변동성, 문장 처리의 garden-path 효과(문장 중간에 잘못된 해석으로 끌려갔다가 고치는 현상), 지각의 다중 안정성을 설명하는 데 쓰였다(p.32). 저자들은 Frostbite 규칙을 깨닫는 “아하!” 순간들이 무작위 제안보다 안내된 과정에 가깝다고 본다. 그 해법 후보로 **amortized inference(상환 추론, 비싼 추론 결과를 미리 학습한 빠른 feed-forward 사상으로 대신하는 것)**를 든다. 예로 Helmholtz machine식 생성/인식 네트워크 쌍이 있다. 이것이 딥러닝과 확률 프로그래밍을 잇는 길이라고 본다(p.33).
model-based와 model-free 강화학습(Section 4.3.2): 중뇌 도파민 뉴런의 반응은 model-free 가치 갱신을 이끄는 reward prediction error(보상 예측 오차)와 맞는다. 하지만 뇌에는 환경의 “인지 지도”로 계획하는 model-based 체계도 있다는 증거가 많다(p.33). 보상 함수만 바꾼 Frostbite 변형에 즉시 적응하려면, 환경 모델에 새 보상 함수를 끼워 바로 계획하는 방식 말고는 상상하기 어렵다고 저자들은 추측한다(conjecture, p.34). 반복하면 기술이 습관화되어 model-free 쪽으로 넘어갈 수 있고, model-based 체계가 model-free 체계의 학습 데이터를 시뮬레이션해 줄 수도 있다(Sutton 1990의 Dyna 계열). 내재적 동기(intrinsic motivation)도 중요한 재료로 언급한다(p.34).

반론 세 가지에 대한 답 (Section 5)

“사람은 사전 경험이 많아 비교가 불공정하다.” 저자들은 동의하며, 그 풍부한 출발점이 바로 핵심 재료라고 답한다. 재료의 기원(유전 대 경험)에는 크게 매이지 않는다. 다만 여러 과제로 일반 신경망을 학습하는 것만으로는 충분하지 않을 수 있다. 고정된 구조 안에서 가중치만 조정하는 경사하강법은 근본적인 구조 변화를 탐색하지 못하며, 지금은 그 구조 탐색을 연구자가 직접 하고 있다고 쓴다(p.34–36).
“생물학적 타당성을 보면 신경망에서 시작해야 한다.” 저자들은 하드웨어보다 소프트웨어(인지)를 먼저 이해하자는 실용적 입장이다. backpropagation은 오래전부터 생물학적으로 의심받았지만 연구에 크게 쓰였다. Hebbian 학습도 LTP(장기 강화)의 임계 시간 간격이 행동 학습에 필요한 간격보다 몇 자릿수 작다는 등의 문제가 있다. 그래서 현재로서는 인지적 타당성이 더 단단한 기반이라고 본다(p.36–37).
“언어가 핵심인데 왜 적게 다루나.” 언어는 이 글의 재료들 위에 세워지며, 언어가 다시 그 재료들을 확장한다고 답한다. 재료 목록이 완전하다고 주장하지 않는다(p.37–38).

전망 (Section 6)

유망한 딥러닝 흐름(Section 6.1): 선택적 attention, 외부 working memory(NTM, DNC), experience replay처럼 심리학에서 온 낮은 수준의 재료가 이미 성과를 냈다. differentiable programming은 프로그램 유도와 딥러닝을 결합할 가능성을 연다. AlphaGo는 패턴 인식(합성곱 신경망)과 모델 기반 탐색(MCTS)을 결합한 예다(Figure 7).
AlphaGo에 대한 도전 제안: 사람 챔피언이 받는 정도의 데이터로 세계 정상급 선수를 이기는 것, 그리고 판 크기·모양·규칙을 바꾼 바둑 변형에 스스로 적응하는 것(p.40–42).
실용 응용(Section 6.2): 장면 이해, 자율 에이전트와 지능형 기기, 자율주행(보행자의 믿음과 욕구 추론), 창의적 설계를 든다. 저자들 스스로 “추측성 생각”이라고 표시한다(p.42–44).

주요 결과

입장문이므로 아래 “결과”는 저자들이 근거로 제시한 비교와 핵심 주장이다. 인용한 선행 연구의 수치이며 저자들의 새 실험이 아니다.

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
큰 데이터에서는 기계가 MNIST를 사람 수준으로 푼다	Section 3.1, p.9	학습 60,000장(숫자당 6,000). KNN 5%, SVM 약 1%, convnet 1% 미만, 최고 deep convnet 0.2% 오류. 0.2%는 “사람 수준에 매우 가깝다”고 씀	사람 오류율 수치 자체는 이 글에 없다	author-stated
사람은 손글씨 개념을 예 하나로 배우고 여러 방식으로 쓴다	Section 3.1, p.9, Figure 1	분류, 생성, 분해, 새 개념 생성	Lake, Salakhutdinov, & Tenenbaum(2015)의 결과를 요약	author-stated
DQN은 Atari에서 넓은 성공을 거뒀지만 계획이 필요한 게임에 약하다	Section 3.2, p.10	49개 게임 중 29개에서 사람 수준 이상. Frostbite 등에서 고전	Mnih et al.(2015) 인용	author-stated
DQN은 사람보다 훨씬 많은 경험이 필요하다	Section 3.2, p.12	사람 전문가 게임당 약 2시간. DQN 2억 프레임, 약 924시간(약 38일), 거의 500배. 프레임마다 replay로 평균 약 8번 더 봄	사람 전문가는 일부 게임 경험이 있었을 수 있다고 저자가 직접 씀. 학습 계산 시간은 게임 시간과 다르다(각주 2)	author-stated
경험을 다 써도 DQN은 사람에 못 미친다	Section 3.2, p.12, Figure 3	DQN 사람 수준의 10% 미만. DQN+(Schaul 2016) 83%, DQN++(Wang 2016) 96%	“human starts” 측정 기준. 다른 지표로는 더 빠른 학습이나 더 높은 점수가 보고되었으나 일반화 정도가 불분명하다고 씀(각주 3)	author-stated
향상된 DQN도 학습 초기는 느리다	Section 3.2, p.12	Schaul et al.(2016) 곡선에서 231시간 후 약 46%, 116시간 후 19%, 2시간 후 3.5% 미만(무작위 약 1.5%)	전문가 점수 대비 비율	author-stated
사람은 몇 분 만에 전문가 수준에 닿는다	Section 3.2 p.12–13, 각주 4	전문가는 최대 5분 세션 30회 평균 4335점. TDU: 약 5분 3520, 10분 3510, 15분 7810. JBT: 약 5분 4060, 10–15분 4920, 20분 이내 6710. 둘 다 YouTube 전문가 영상을 약 2분 시청	저자 2인의 비공식 실험(informal experiments). 표본 2명, 통제 없음. 저자들도 사전 게임 경험이 있는 연구자	author-stated
신경망 직관 물리는 좁은 과제에 데이터가 많이 든다	Section 4.1.1, p.18	PhysNet은 실제 사진에서 사람 수준, 합성에서 사람 이상. 하지만 100,000–200,000 장면, 2–4개 정육면체, 한 과제	사람과 PhysNet의 확신도 상관은 Battaglia et al.(2013) 시뮬레이션 모델보다 약함	author-stated
BPL은 적은 사전 학습으로 사람 수준 one-shot을 낸다	Section 4.2, p.24; 각주 8, p.30	5개 알파벳(약 150 문자 유형) 사전 학습으로 사람 수준 one-shot 분류·생성. 최고 convnet은 같은 조건에서 23% 대 사람 4%(약 5배), 30개 알파벳으로 늘려도 2–3배	Lake et al.(2015) 인용. 사람은 알파벳 1개나 몇 개만 직접 경험해 많아야 수백 개 개념에 해당한다고 저자가 추정	author-stated
BPL의 성공에는 사전분포에 내장된 구조가 있다	Section 4.2.3, p.30	일반화에 쓰는 중요한 구조 일부가 배경 학습이 아니라 사전분포에 내장됨	저자가 인정한 한계. “학습만으로” 얻은 성과로 읽으면 안 된다	author-stated
전이 학습은 도움이 되지만 사람 속도에는 멀다	Section 4.2.3, p.31	Actor-mimic: 13개 게임을 게임당 약 4백만 프레임(18.5시간) 학습한 뒤, 4–5백만 프레임 걸리던 점수에 1–2백만 프레임에 닿음	사람이 “몇 분”이면 된다는 비교는 일화적(anecdotally) 관찰	author-stated
캡션 신경망은 물체는 맞혀도 장면의 인과를 놓친다	Section 4.2.2, p.28, Figure 6	낙마 장면을 “말 탄 여성”, 사고 비행기를 “주기장에 서 있는 비행기”로 묘사	골라 뽑은 사례 3개. 오류율 같은 체계적 측정은 없다	author-stated(사례), analyst-inference(대표성 판단)
AlphaGo는 사람보다 훨씬 많은 대국으로 배웠다	Section 6.1, p.40	16만 판의 2,840만 수로 시작, 3천만 판 자가 대국. 재학습 반복으로 사실상 1억 판 이상. 이세돌은 평생 약 5만 판으로 추정	이세돌 대국 수는 “probably around”로 쓴 추정치	author-stated
사람다운 학습에는 인과적·조합적 표현이 필요하다	Section 6, p.38	사람 추론의 힘과 유연성이 표현의 인과성·조합성에서 온다고 제안	저자들의 제안(suggest)이며 이 글 안에서 검증하지 않는다	author-stated

결과들은 하나의 논리로 이어진다. 첫 묶음(MNIST, DQN 성공)은 “최종 점수로는 기계가 사람을 따라잡았다”는 점을 인정한다. 둘째 묶음(924시간 대 2시간, 23% 대 4%, PhysNet 10만 장면)은 같은 점수에 닿기까지의 데이터 효율에서 큰 차이를 보인다. 셋째 묶음(Frostbite 새 목표들, 바둑 변형, Figure 6 캡션)은 배운 것을 바뀐 조건에 다시 쓰는 유연성에서 차이를 보인다. 저자들은 둘째와 셋째의 차이를 하나의 원인, 즉 “패턴이 아니라 인과 모델을 배운다”로 설명하려 한다(analyst-inference: 이것은 여러 사례를 하나의 설명으로 묶은 저자들의 해석이며, 원인을 실험으로 분리해 확인하지는 않았다).

Take-home

한 줄 요약. 사람다운 AI는 패턴을 더 잘 맞히는 기계가 아니라, 직관 물리·직관 심리 위에서 조합적이고 인과적인 세계 모델을 빠르게 짓고 그 모델을 새 목표에 바로 다시 쓰는 기계다.

결론이 성립하는 범위.

비교 사례는 손글씨 문자, Atari Frostbite, 블록 탑 물리, 이미지 캡션, 바둑에 한정된다. 저자들도 학교에서 배우는 어려운 개념이나 금융·날씨 데이터처럼 기계가 더 나은 영역은 이 논지의 중심이 아니라고 밝힌다(Section 4.2, p.22).
신경망 쪽 비교 대상은 2016년 당시 모델(DQN 계열, PhysNet, DRAW, AlphaGo 등)이다. 이후 대규모 사전학습 모델에 대해서는 이 글이 말하지 않는다(analyst-inference).

저자가 인정한 한계 (author-stated).

핵심 재료 목록이 완전하지 않다. 특히 언어는 따로 더 다뤄야 한다(Section 5, p.38).
재료가 타고난 것인지 배운 것인지에 대해서는 입장을 정하지 않는다(Section 4, p.15).
BPL의 일부 구조는 사전분포에 내장되어 있고 학습된 것이 아니다(Section 4.2.3, p.30).
거대한 데이터·과제·계산으로 일반 딥러닝이 결국 같은 표현을 배울 수 있다는 희망에 공감하며 더 탐색할 가치가 있다고 보지만, 현실적인지는 확신하지 않는다(Section 5, p.35).
응용 절은 추측이다(Section 6.2, p.42).

작성자가 보는 우려 (analyst-inference).

사람 쪽 Frostbite 수치는 저자 두 명이 YouTube 영상을 본 뒤 직접 플레이한 기록이다. 저자 스스로 “informal experiments”라고 썼다. 반복 측정이나 통제된 피험자 실험이 아니므로, “몇 분 만에 전문가 수준”은 강한 정량 근거라기보다 예시로 읽는 편이 안전하다.
“사람 2시간 대 DQN 924시간” 비교는 사람의 평생 사전 경험을 빼고 센 것이다. 저자들은 Section 5에서 이것이 오히려 요점이라고 답하지만, 그 답은 재료의 필요성을 보여 줄 뿐 특정 재료(예: 인과 모델)가 차이의 원인이라는 것까지 보여 주지는 않는다.
핵심 근거인 BPL은 저자 본인들의 이전 연구다. 다른 연구진의 독립 재현 여부는 이 글에서 확인할 수 없다.
Figure 6 같은 실패 사례는 골라 뽑은 것이라 실패가 얼마나 흔한지 알 수 없다.

반복 횟수와 공개. 자체 실험이 없으므로 seed나 run 수는 해당하지 않는다. 사람 Frostbite 기록은 2명이 시간대별로 한 번씩 낸 점수이며 반복 측정은 보고되지 않았다. 코드나 데이터 공개는 이 글에서 언급되지 않았다.

읽지 못한 범위. arXiv v3(2016년 11월 2일, “In press at BBS”)를 끝까지 읽었다. BBS 게재본에 붙은 동료 논평(open peer commentary)과 저자 답변은 이 PDF에 없으므로 이 노트에 반영하지 않았다(unknown).

본문 도표

Table 1 — Glossary

무엇을 보여주는가: 본문에 나오는 머신러닝 용어 9개의 정의를 모은 용어집이다(p.4).
읽는 법: 수치 표가 아니라 용어와 정의를 나열한 글 상자다. 항목은 Neural network, Deep learning, Backpropagation, Convolutional network(convnet), Model-free and model-based reinforcement learning, Deep Q-learning, Generative model, Program induction이다(model-free와 model-based는 한 항목에 묶여 있다).
핵심 관찰: 두 정의가 이후 논증에서 특히 중요하다. 첫째, Generative model 항목은 생성 모델(P(X|y)와 P(y)를 기술해 표본 생성과 베이즈 규칙 분류가 가능)과 discriminative model(P(y|X)를 직접 기술해 새 예를 만들 수 없음)을 대비한다. 저자들은 인과적으로 해석할 수 있는 방향성 생성 모델(Bayesian network, probabilistic program)을 주로 다룬다고 밝힌다. 둘째, Program induction 항목은 확률 프로그램의 경우 “학습은 데이터를 만들었을 법한 프로그램을 찾는 탐색”이라고 정의한다.
의미와 주의: Deep learning을 “hidden layer가 적어도 하나인 신경망”으로 넓게 정의한다는 점이 눈에 띈다(author-stated). 이 용어집은 인지과학 독자를 위한 것이며, 정의 자체가 논쟁 대상은 아니다(analyst-inference).
확인 상태: viewed

Figure 1 — Characters Challenge: 한 번 보고 배우는 개념

무엇을 보여주는가: 새 시각 개념의 예 하나(빨간 상자)만으로 사람이 할 수 있는 네 가지 일. (A)는 처음 보는 손글씨 문자, (B)는 처음 보는 두 바퀴 탈것(세그웨이 같은 모양)이다.
읽는 법: 각 패널의 (i) 분류는 격자 속에서 같은 개념의 다른 예를 찾는 것, (ii) 생성은 같은 개념의 새 예 그리기, (iii) 분해는 부분과 관계로 쪼개기(문자는 색깔별 획, 탈것은 바퀴·기둥·손잡이 상자), (iv) 새 개념 생성은 관련 개념들(문자 격자, 여러 탈것)을 조합해 새 개념 만들기다.
핵심 관찰: 네 능력이 모두 하나의 예에서 나온다. (B-iv)에서는 세그웨이, 오토바이, 외바퀴 탈것을 조합해 새 탈것을 만든다.
의미와 주의: 저자들은 이 능력들이 개념을 얻으면 “공짜로 함께 온다(come for free)“고 해석한다(author-stated, p.9). Lake, Salakhutdinov, & Tenenbaum(2015)에서 가져온 예시 그림이며, 이 그림 자체에 사람 성능 수치는 없다.
확인 상태: viewed

Figure 2 — Frostbite 게임 화면

무엇을 보여주는가: 1983년 Atari 게임 Frostbite의 화면 4장.
읽는 법: (A) 레벨 시작, 흰 얼음이 좌우로 움직인다. (B) 흰(활성) 얼음을 밟으면 파랗게 비활성화되고 오른쪽 위에 이글루 조각이 쌓인다. (C) 레벨 끝, 완성된 이글루로 들어가야 한다. (D) 뒤 레벨에는 물고기 보상과 게·조개·곰 같은 위험이 추가된다. 화면 위쪽 숫자는 점수와 온도(시간 제한)다.
핵심 관찰: (D) 화면 점수는 9960이다. 얼음 간격은 레벨에 따라 넓거나(A–C) 좁다(D).
의미와 주의: 저자들은 얼음이 계속 움직이므로 여러 단계 계획이 필수라고 해석한다(author-stated, 캡션). 이 그림은 이후 직관 물리(얼음·물체), 직관 심리(곰이 플레이어를 쫓는 것), 조합성(같은 물체 유형의 반복) 논의의 공통 예시로 계속 쓰인다(analyst-inference).
확인 상태: viewed

Figure 3 — 사람과 DQN의 학습 속도 비교

무엇을 보여주는가: Frostbite 시험 점수를 게임 경험 시간에 따라 그린 학습 곡선.
읽는 법: x축은 게임 경험(시간, 60 fps 기준, replay로 다시 본 것은 빼고 셈)이며 눈금은 2, 116, 231, 346, 462, 578, 693, 808, 924다. y축은 Frostbite 점수(0–5000). 빨간 별은 사람(Human), 검은 점은 DQN++(Wang et al. 2016), 실선은 DQN+(Schaul et al. 2016), 점선은 DQN(Mnih et al. 2015)이다. 무작위 플레이는 66.4점이고 “human starts” 측정을 쓴다(캡션).
핵심 관찰: 그래프 판독 기준(analyst-inference, 그래프 판독)으로 사람 별은 2시간 위치에서 4000점을 조금 넘는다. DQN 점선은 924시간 내내 약 300–400점 근처에 머문다. DQN+ 실선은 346시간 무렵 약 3200점까지 오른 뒤 약 3300–3700점 사이에 머문다. DQN++는 924시간에만 점 하나(약 4000점)로 표시된다. 본문 수치로는 DQN이 사람 수준의 10% 미만, DQN+ 83%, DQN++ 96%다(p.12, author-stated).
의미와 주의: 사람은 곡선이 아니라 2시간 지점의 점 하나다. 사람 학습 곡선은 그리지 않았다. DQN++도 학습 곡선 없이 최종 점수만 있다(“Learning curves (if available)”). 사람 점은 Mnih et al.(2015) 전문가의 약 2시간 연습 결과이며, 저자 2인의 비공식 플레이 기록(각주 4)은 이 그림에 표시되지 않았다(analyst-inference: 그림 범례가 Human 하나뿐이고, 각주 4는 본문에만 있다).
확인 상태: viewed

Figure 4 — 직관 물리 엔진으로 보는 블록 탑 안정성

무엇을 보여주는가: 장면 이해를 물리 시뮬레이션으로 설명하는 “intuitive physics engine” 접근.
읽는 법: (A) 왼쪽 빨간 상자 “1. Inputs”는 지각·언어·기억으로 들어온 블록 탑 장면이다. 가운데 파란 상자 “2. Intuitive Physics Engine”은 물체·물리 속성·힘으로 장면을 만들고 Scene(t)에서 Scene(t+1), Scene(t+n)으로 시뮬레이션한다. 오른쪽 초록 상자 “3. Outputs”는 “Will it fall?”과 “Which direction?” 같은 판단을 내놓는다. (B) 노란 상자 “Changes to Input”은 입력을 바꾸는 예들이다. 블록 추가, 스티로폼·납·끈적이 블록, 고무 탁자, 물이나 꿀 붓기, 파란 블록 접착, 빨간 블록 자석, 중력 반전, 바람, 미끄러운 얼음 등이다.
핵심 관찰: 출력 예시로 “8/10”(쓰러질 확률 판단으로 보임)과 “90°“(쓰러지는 방향)가 적혀 있다. 이 값들은 예시 그림의 표기이며 실험 결과 수치로 제시된 것이 아니다(analyst-inference).
의미와 주의: 저자들은 (B)의 변화마다 패턴 인식 방식은 새 특징을 찾고 다시 학습해야 하지만, 시뮬레이터는 같은 엔진으로 답할 수 있다고 주장한다(author-stated, 캡션과 p.17). Battaglia et al.(2013)에서 가져온 그림이다. 사람 판단과의 정량적 적합은 그 원 논문에 있고, 이 글에는 “close quantitative fits”라는 표현만 있다.
확인 상태: viewed

Figure 5 — 손글씨 문자의 인과적·조합적 모델(BPL)

무엇을 보여주는가: Bayesian Program Learning이 문자를 만드는 과정(A)과, 예 하나로 만든 새 예를 사람 것과 구별하게 하는 visual Turing test(B).
읽는 법: (A) 위에서 아래로 (i) 색깔별 기본 동작 라이브러리, (ii) 하위 부분, (iii) 부분, (iv) 부분을 “attached along”, “attached at start” 같은 관계로 묶은 객체 템플릿(문자 유형 = 프로그램), (v) 같은 유형에서 나온 여러 예(token), (vi) 이진 이미지로 그린 원시 데이터다. (B) 격자 쌍 4개마다 위에 새 개념의 예 하나가 있다. 한 격자는 사람 9명이 그렸고 다른 격자는 BPL 표본 9개다. “Human or Machine?”이 질문이다.
핵심 관찰: 캡션의 정답은 행별로 “1,2;1,1”이다. 즉 기계가 그린 격자는 첫 행 왼쪽 쌍에서 1, 오른쪽 쌍에서 2, 둘째 행 두 쌍에서 모두 1이다. 그림만으로는 사람과 기계를 구별하기 어렵다는 것이 시연의 요점이다(analyst-inference: 이 그림에는 구별 정확도 수치가 없다).
의미와 주의: 저자들은 개념을 “운동 프로그램”으로 표현한 인과성이 one-shot 분류·생성 성공의 중요한 요인이라고 해석한다(author-stated, p.27). Lake, Salakhutdinov, & Tenenbaum(2015)에서 가져온 그림이며, visual Turing test의 판정 통계는 원 논문에 있다.
확인 상태: viewed

Figure 6 — 인과 이해 없이 장면을 보는 캡션 신경망

무엇을 보여주는가: 신경망 이미지 캡션 생성기(Karpathy & Fei-Fei 2015, neuraltalk2 코드)가 붙인 캡션 3개.
읽는 법: 사진 아래 문장이 신경망이 생성한 캡션이다.
핵심 관찰: 왼쪽은 말에 끌려가며 넘어지는 사람이 있는 장면을 “a woman riding a horse on a dirt road”라고 썼다. 가운데는 도로 위로 기울어진 비행기 사고 장면을 “an airplane is parked on the tarmac at an airport”라고 썼다. 오른쪽은 무너지는 집 앞에서 물을 헤치고 도망치는 사람들을 “a group of people standing on top of a beach”라고 썼다.
의미와 주의: 저자들은 신경망이 핵심 물체는 맞혀도 물리적 힘, 사람들의 마음 상태, 물체 사이 인과관계를 이해하지 못한다고 해석한다. 즉 데이터의 올바른 인과 모델을 짓지 못한다는 것이다(author-stated, p.28). 세 장은 실패를 보여 주려고 고른 사례다(캡션은 비슷한 예를 Reuters 뉴스 사진에서 찾을 수 있다고 안내한다). 따라서 실패 빈도를 보여 주지는 않는다(analyst-inference).
확인 상태: viewed

Figure 7 — 합성곱 신경망과 MCTS를 결합한 바둑 AI

무엇을 보여주는가: 패턴 인식(합성곱 신경망)과 모델 기반 탐색(Monte-Carlo Tree Search, MCTS: 무작위로 끝까지 둬 보는 시뮬레이션을 반복해 수의 승률을 추정하는 탐색)을 결합한 바둑 시스템의 구조. Tian and Zhu(2016)에서 허락받아 가져왔다.
읽는 법: (a) 현재 판에서 25개 feature plane을 만들고, 5×5 커널 92채널 합성곱 층, 3×3 커널 384채널 합성곱 층 10개, 3×3 커널 k맵 층을 거쳐 k개 병렬 softmax로 다음 k수(내 수, 상대 수, 내 응수)를 예측한다. (b) 노드마다 “승/전체” 통계를 단 탐색 나무. 빨간 화살표(tree policy)로 새 잎(빨간 원)까지 내려가고, 그 잎의 다음 수는 신경망이 고른다(Synced DCNN server). 그 뒤 파란 물결선(default policy, Pachi 프로그램 기반)으로 끝까지 둔다. (c) 그 결과로 경로상 통계를 갱신한다. 예를 들어 루트가 22/40에서 23/41로 바뀐다.
핵심 관찰: 그림의 숫자(22/40 등)는 갱신 방식을 보여 주는 예시값이다(analyst-inference). 본문은 이 결합 시스템의 승률 같은 성능 수치를 보고하지 않는다.
의미와 주의: 저자들은 패턴 인식과 모델 기반 탐색을 결합한 것이 중요한 성취라고 인정한다. 그러면서 사람만큼의 데이터로 배우고 바둑 변형에 스스로 적응하는 것이 다음 도전이라고 말한다(author-stated, p.40–42). 참고로 이 그림은 AlphaGo 자체가 아니라 Tian and Zhu(2016)의 시스템이다(author-stated, 캡션 출처 표기). arXiv PDF의 텍스트 층에는 원 논문의 그림 번호 등 다른 문서 글자가 섞여 추출되지만, 렌더링한 쪽 이미지에서는 Figure 7 캡션만 보인다(analyst-inference).
확인 상태: viewed

Wiki 연결

How to Grow a Mind - Statistics, Structure, and Abstraction — 같은 연구 그룹(Tenenbaum 등)의 2011년 Science 논문. 이 글 Section 4.2.3과 4.3.1이 계층 베이지안 모델과 확률 프로그램 근거로 직접 인용한다(Tenenbaum, Kemp, Griffiths, & Goodman, 2011).
Core Knowledge — Spelke & Kinzler(2007). Section 4.1의 “발달 초기 시작 소프트웨어”(수·공간·물리·심리 핵심 영역)가 이 논문을 근거로 한다.
On the Measure of Intelligence — Chollet(2019). 기술 점수가 아니라 적은 데이터에서의 기술 습득 효율로 지능을 재자는 같은 문제의식을 지표 설계로 밀고 간다. 그 노트의 관련 연구 표에도 이 논문이 올라 있다.
Playing Atari with Deep Reinforcement Learning — Mnih et al.(2013)의 DQN 첫 논문. 이 글이 비판적으로 비교하는 DQN(Nature 2015판)의 원형이다.
Neural Turing Machines — Section 6.1이 “유망한 방향”으로 꼽은 외부 working memory와 differentiable programming의 대표 사례다.

BibTeX

@article{lake2017building,
  title   = {Building machines that learn and think like people},
  author  = {Lake, Brenden M. and Ullman, Tomer D. and Tenenbaum, Joshua B. and Gershman, Samuel J.},
  journal = {Behavioral and Brain Sciences},
  volume  = {40},
  pages   = {e253},
  year    = {2017},
  doi     = {10.1017/S0140525X16001837}
}