마음은 어떻게 자라는가: 통계, 구조, 추상화

개요

두 살 아이는 “말”이라는 단어를 말 몇 마리만 보고도 새로운 말에 제대로 쓰고, 상관관계를 계산하기엔 턱없이 적은 사건만 보고도 원인과 결과를 짚어 낸다. 데이터는 이렇게 적은데 마음은 어떻게 이렇게 멀리 일반화할까? 그동안 인지과학은 둘 중 하나를 골라야 했다. 구조 없는 숫자 덩어리 위에서 강력한 통계 학습을 하거나(연결주의), 풍부한 기호 구조를 쓰되 학습은 거의 하지 않거나(생득론). 이 리뷰의 통찰은 이 선택 자체가 가짜라는 것이다. 데이터가 모자란 만큼을 채우는 것은 추상 지식(가능한 가설의 범위를 미리 좁혀 주는 배경 지식)이고, 그 추상 지식도 확률 추론으로 배울 수 있다. 해법은 **계층적 베이즈 모형(HBM, Hierarchical Bayesian Model)**이다. 맨 아래에는 관찰 데이터, 그 위에는 구체적인 구조(예: 어떤 병이 어떤 증상을 일으키는지 연결한 그래프), 맨 위에는 “구조가 어떤 모양이어야 하는가”(나무, 사슬, 고리, “병→증상 방향으로만 연결” 같은 틀)를 두고, 모든 층을 같은 데이터로 한꺼번에 추론한다. 위층의 자유도 하나가 아래층의 많은 변수에서 증거를 모으기 때문에, 위층의 추상 지식이 오히려 아래층의 구체 지식보다 적은 데이터로 먼저 배워지는 **추상화의 축복(blessing of abstraction)**이 생긴다. 그리고 베이즈 오컴의 면도날(데이터가 정말 요구할 때만 더 복잡한 구조를 받아들이는 자동 균형 장치)이 이 유연성이 지나치지 않게 막는다. 근거로 저자들은 16개 변수(병 6개·증상 10개)의 인과 네트워크 학습을 보인다. 구조 틀이 없는 2층 모형은 환자 20명 데이터로는 참 구조를 거의 못 찾고 80명에서도 가짜 연결을 만들며, 완벽히 복원하려면 1000명이 필요했다. 반면 “병 무리→증상 무리” 틀까지 함께 배우는 3층 모형은 80명에서 네트워크를 거의 완벽히 찾았고, 20명만으로도 틀 자체는 배웠다(Fig. 3). 같은 방식의 알고리즘은 동물 특징 데이터에서 나무, 대법관 투표에서 좌-우 사슬, 색 유사도에서 고리 구조를 스스로 골라냈다(Fig. 2).

Implication: “타고난 구조냐 경험으로 배운 통계냐”는 양자택일이 풀린다. 구조화된 추상 지식은 경험에서, 그것도 구체 지식보다 먼저 빠르게 배워질 수 있고, 적은 데이터로 사람처럼 배우는 기계를 만들려면 이 위층 지식을 함께 학습하는 설계가 필요하다는 주장이다.

arXiv 주소 없음 (DOI: 10.1126/science.1192788)

배경과 문제

확보 범위. 저자 그룹(Princeton cocosci) 사이트가 올린 Science 재인쇄본 8쪽(AAAS 표지 1쪽 + 본문 1279–1285쪽)을 끝까지 읽었다. 본문이 참조하는 보충자료 SOM(Supporting Online Material, 본문 SOM text와 fig. S1–S5)은 확보하지 못했다. 아래 쪽수는 Science 지면 쪽수다.

풀려는 질문. 사람은 아주 적고(sparse), 시끄럽고(noisy), 애매한(ambiguous) 데이터로 인과 모형을 세우고 강하게 일반화한다. 감각으로 들어오는 정보와 인지의 산출물 사이에 “거대한 불일치(massive mismatch)“가 있다는 것이 출발점이다(p.1279, “The Challenge: How Does the Mind Get So Much from So Little?”, author-stated).

• 단어 학습: 두 살 아이는 “horse”, “hairbrush” 같은 새 단어를 몇 개 예시만 보고 배우고 새 상황에 (완벽하진 않아도) 알맞게 쓴다(p.1279, 참고문헌 1, 2, author-stated).
• 인과 학습: 아이들은 상관을 믿을 만하게 계산하기에도 너무 적은 “한 줌의 사건(handful of events)“으로 인과 연결을 추론한다(p.1279, 참고문헌 4, author-stated).
• 가장 깊은 수수께끼는 직관 물리·심리·생물 같은 큰 지식 체계의 형성이며, 이것은 단어 하나·개념 하나보다 훨씬 오래 걸리지만 그 규모에서도 결과물이 관찰 데이터를 크게 넘어선다(p.1279, 참고문헌 5–7, author-stated).

학술적 계보. 이 질문은 플라톤·아리스토텔레스에서 흄, 휴얼, 밀, 그리고 20세기의 카르납, 콰인, 굿맨까지 이어진 “귀납의 문제(problem of induction)“다(p.1279, 참고문헌 8, author-stated). 마음이 주어진 데이터를 넘어선다면 다른 정보원이 그 차이를 채워야 하며, 이 배경 지식을 심리학자·언어학자는 “제약(constraints)”, 머신러닝·AI 연구자는 “귀납 편향(inductive bias)”, 통계학자는 “사전분포(priors)“라고 부른다(p.1279, 참고문헌 9, 10, author-stated). 리뷰가 다루는 “베이즈” 또는 “확률적” 접근은 지난 20년간 베이즈 AI와 머신러닝의 공학적 성공에 크게 영향을 받았고, 거꾸로 더 사람 같은 기계 학습에 영감을 주기 시작했다고 저자들은 쓴다(p.1279, 참고문헌 9, 11, author-stated). 저자들은 이 이름표들이 1980년대의 “연결주의(connectionist)” 처럼 서로 얽힌 원리·주장들의 자리표시자일 뿐이라고 밝힌다(p.1279, author-stated).

리뷰가 세운 세 질문 (초록과 p.1279 오른쪽 단, author-stated):

1. 추상 지식은 희소한 데이터에서의 학습과 추론을 어떻게 이끄는가?
2. 추상 지식은 영역과 과제에 따라 어떤 형태(form)를 띠는가?
3. 추상 지식 자체는 어떻게 획득되는가?

기존 두 접근의 한계 (p.1279, author-stated):

• 생득론(nativism): 풍부한 기호 구조를 쓰지만 학습은 가설과 데이터의 논리적 모순을 확인하는 정도의 가장 단순하고 비통계적인 형태만 둔다(언어 습득의 생득론 설명, 참고문헌 15).
• 연합론/연결주의(associationism/connectionism): 연결주의 의미 인지 모형의 연합 가중치 행렬처럼 가장 단순하고 구조 없는 지식 위에서 강력한 통계 학습을 한다(참고문헌 12, 14).
• 그래서 사람의 추상 지식은 경험에서 의미 있게 배우는 것이 아니거나(사실상 선천적), 생각만큼 추상적·구조적이지 않다(단순한 연합)는 둘 중 하나를 받아들여야 하는 것처럼 보였다. 많은 발달 연구자는 이 선택을 아예 거부하고 “구성주의(constructivism)”, “이론 이론(theory theory)“이라는 덜 형식적인 방식을 택했다(p.1279, 참고문헌 5, author-stated).

이 리뷰의 차별점. 베이즈 모형은 풍부하게 구조화된 지식 표현(질문 2)과 강력한 통계 추론 엔진(질문 1, 3)을 결합하며, 사람의 지능은 둘을 정교하게 합쳐야만 설명된다고 주장한다. 이 결합이 계산적으로 어떻게 가능한지는 최근까지 이해되지 않았다(p.1279, 참고문헌 13, author-stated). 사람이 추상 구조 지식을 진짜로 배울 수 있음을 설명하는 능력이 베이즈 모형의 가장 두드러진 특징이며, 동시에 최근 인기의 가장 큰 이유이자 비판자들의 가장 큰 회의 대상이라고 저자들은 스스로 밝힌다(p.1279, 참고문헌 16, 17, author-stated).

지표

해당 없음. 이 논문은 Science의 REVIEW 형식으로, 자체 실험을 수행하거나 정확도·오차 같은 성능 지표를 정의해 보고하지 않는다(전문 확인, author-stated 형식 표기는 p.1279 상단 “REVIEW”). 본문에 나오는 수치는 두 종류뿐이며 둘 다 성공을 재는 지표가 아니다.

• 가설 공간 크기: 16개 변수 위의 인과 네트워크 가설 수가 제약에 따라 약 10^46 → 10^23 → 10^18로 줄어든다는 계산(p.1281, “The Form of Abstract Knowledge”). 제약이 얼마나 강한지 보여 주는 설명용 숫자다.
• 환자 수 n: Fig. 3의 학습 데이터 크기(n = 20, 80, 1000). 학습이 얼마나 성공했는지는 행렬 그림으로만 정성적으로 보여 주며, 복원 정확도 같은 수치는 보고되지 않았다(Fig. 3 캡션).

Fig. 1의 사람 반응도 “거의 모든 사람(Almost everyone)“이 회색 상자 물체를 고른다는 서술뿐이며 비율·참가자 수는 이 논문에 보고되지 않았다(Fig. 1 캡션, 참고문헌 75로 인용).

방법과 벤치마크 구성

리뷰 논문이므로 “방법”은 저자들이 정리한 이론적 틀이고, 근거는 저자들과 동료들의 선행 연구를 인용해 보인다. 리뷰는 두 원형적 귀납 문제, 즉 개념 학습과 인과 학습을 중심 사례로 삼는다(p.1279, author-stated).

1층: 베이즈 추론이 추상 지식을 쓰는 방식 (질문 1)

• 생성 모형(generative model): 세계 속 인과 과정이 학습자의 관찰을 어떻게 만들어 내는지 묘사하는 마음속 모형. 관찰되지 않은 잠재 변수(latent variable, 직접 보이지 않는 숨은 원인)도 포함한다. 학습자의 불확실성을 다루려면 확률적이어야 한다. 저자들은 이것이 두 가지 의미에서 “추상적”이라고 한다. 지금 눈앞의 상황뿐 아니라 학습이 일반화되어야 할 더 넓은 상황들을 묘사하고, 관찰을 만들어 내는 핵심 세계 구조를 간결하게 담는다(p.1280, author-stated).
• 베이즈 규칙(Bayes’s rule): 가설 공간 H(가능한 설명들의 목록), 사전확률 P(h)(데이터 보기 전 가설 h를 얼마나 믿는지), 가능도 P(d|h)(가설이 맞다면 데이터 d가 얼마나 나올 법한지)를 곱해 사후확률 P(h|d)를 얻는다. 식 (1), p.1280. 사후확률은 사전확률과 가능도의 곱에 비례한다(author-stated).
• 기침 예시(p.1280–1281, author-stated): 존이 기침한다(d). 가설은 h1 감기, h2 폐질환, h3 속쓰림. 가능도는 h1, h2를 편든다(감기와 폐질환은 기침을 일으킨다). 사전확률은 h1, h3를 편든다(감기와 속쓰림이 폐질환보다 흔하다). 둘을 곱하면 양쪽에서 다 높은 h1만 남는다.
• “말” 예시(p.1281, author-stated): 서로 다른 말 세 마리를 본 아이가 “horse”를 모든 말(h1)로 일반화하는 이유. 가능도는 더 좁은 h1과 h2(“클라이즈데일을 뺀 모든 말”)를 편든다. 예시들이 훨씬 넓은 h3(“모든 동물”)에서 무작위로 뽑혔다면 세 개 모두 좁은 집합에 들어간 것은 “수상한 우연(suspicious coincidence)“이기 때문이다(참고문헌 18). 사전확률은 더 일관되고 뚜렷한 범주인 h1, h3를 편든다(참고문헌 1). 둘 다 높은 것은 h1뿐이다.
• 범위 한정: 사람이 베이즈 원리로 배운다는 주장은 마음이 아무 베이즈 추론이나 할 수 있다는 뜻이 아니다. 생물학적으로 잘 수행하도록 설계될 시간과 이유가 있었던 귀납 계산(지각, 언어, 기억, 감각운동 체계)만 베이즈로 이해될 가능성이 높고, 확률을 숫자로 명시적으로 다루는 과제에서는 판단이 베이즈 규범에서 잘 벗어난다(p.1280, 참고문헌 27–32, author-stated).
• 같은 틀로 설명된 고차 인지 사례 목록: 유사성(18), 대표성(19), 무작위성(20), 숨은 원인의 단서로서의 우연(21), 인과 강도(22), 증거 지지(23), 진단·조건 추론(24, 25), 일상 사건 예측(26)(p.1279–1280, author-stated).

2층: 추상 지식의 형태 (질문 2)

• 복잡한 인지 과제에서는 가능한 가설을 사전확률·가능도와 함께 일일이 나열할 수 없으므로 더 정교한 표현이 생성 모형 밑에 깔려야 한다(p.1281, author-stated).
• 전통적 연합·연결주의 접근은 큰 수치 벡터 위에서 확률 모형을 정의했다(신경망 가중치, 고차원 비선형 함수의 파라미터 등). 베이즈 인지 모형은 그래프, 문법, 술어 논리, 관계 스키마, 함수형 프로그램처럼 더 구조화된 기호 표현 위에 확률을 정의해 가장 성공했다(p.1281, 참고문헌 12, 14, author-stated).
• 표현의 형태는 영역마다 다르다(p.1281, author-stated):
  • 단어·개념 학습: 나무(tree) 구조 표현(Fig. 1B, 참고문헌 2, 35)
  • 도시의 지리적 성질: 2차원 공간이나 격자(grid)
  • 가치나 능력: 1차원 순서(order)
  • 종 사이에 옮겨지는 성질(예: 질병): 방향 있는 네트워크(참고문헌 36)
• 인과 지식은 **방향 그래프 모형(directed graphical model)**으로 표현할 수 있다. 노드는 변수, 방향 있는 화살표는 확률적 인과 연결이다(p.1281, 참고문헌 9, 11, Fig. 3A). 이런 인과 지도가 단순한 형태의 직관 이론이다(참고문헌 4).
• 더 높은 수준의 틀 이론(framework theory): 의료 영역에서 “변수는 병과 증상 두 부류이고, 인과 화살표는 같은 부류 안이나 증상→병 방향이 아니라 병→증상 방향으로 간다”는 지식(p.1281, 참고문헌 37, Fig. 3A–C). 이는 그래프 스키마(graph schema, 노드 유형에 기반한 그래프 틀)나 확률적 그래프 문법(probabilistic graph grammar) 같은 관계형 데이터 구조 위의 확률 모형으로 표현된다(참고문헌 9, 38, 39). 가장 추상적인 수준에서는 “인과성” 개념 자체를 논리 법칙의 집합으로 쓸 수 있다(참고문헌 40, Fig. 3D).
• 제약이 가설 수를 줄이는 계산(p.1281, author-stated):
  • 대상 n개 위의 새 개념은 2^n개 부분집합 중 하나일 수 있지만, Fig. 1B처럼 특정 이진 나무의 가지에 해당한다고 가정하면 n−1개 가설로 줄어든다.
  • 변수 16개의 인과 네트워크는 논리적으로 가능한 가설(방향 비순환 그래프)이 대략 10^46개인데, 병-증상 이분(bipartite) 그래프로 제한하는 틀 이론이 이를 대략 10^23개로 줄이고, 어떤 변수가 병·증상 부류에 속하는지까지 알면 대략 10^18개로 줄어든다.
• 중요한 단서: 가설 공간이 작을수록 더 정확한 일반화를 기대할 수 있지만, 배워야 할 참 구조가 학습자의 가설 공간 안이나 (확률적 의미에서) 그 근처에 있을 때에만 그렇다(p.1281, 참고문헌 10, author-stated). 그래서 저자들은 세계의 결을 대략 맞게 담은 간결한 기술이 가장 쓸모 있는 제약이며, 사람의 정신 표현이 과학자의 표현(예: 생물 종의 나무 구조)을 닮은 것은 우연이 아니라고 본다(같은 곳, author-stated).

3층: 추상 지식의 획득 (질문 3)

• 문제 제기(p.1281–1282, author-stated): 아이는 어떤 영역의 대상들을 나무로 조직해야 한다는 것을 어떻게 아는가? 아이들은 처음엔 대상을 평평하고 서로 배타적인 이름 붙은 묶음으로 나누다가 나중에야 나무형 위계를 발견한다(참고문헌 41). 과학에서도 멘델레예프의 주기율표, 린네의 나무형 분류가 같은 종류의 발견이다. 계층 군집, 주성분 분석, 다차원 척도법, 클리크 탐지 같은 통상의 비지도 구조 발견 알고리즘은 한 가지 고정된 구조 형태를 가정하므로 이런 발견을 할 수 없다(참고문헌 42). 생득론은 구조 형태가 선천적이어야 한다고, 연결주의는 근사적으로만 학습된다고 답해 왔다(참고문헌 43, 44, 14).
• HBM(p.1282, 참고문헌 45, author-stated): 가설 하나의 층이 아니라 여러 층을 둔다. 가설 공간들의 가설 공간, 사전분포 위의 사전분포다. 각 층이 바로 아래 층의 변수들에 대한 확률분포를 만들고, 모든 층에 걸친 베이즈 추론으로 특정 학습 과제에 필요한 가설 공간과 사전분포를 더 큰 규모·더 긴 시간 척도에서 학습하는 동시에, 그것들이 아래층 학습을 제약하게 한다. 머신러닝·AI에서는 주로 이전 과제에서 귀납 제약을 얻는 전이 학습(transfer learning)에 쓰였다(참고문헌 46, SOM text와 fig. S1, S2. SOM은 미확보).
• 구조 형태 발견(p.1282–1283, Fig. 2, 참고문헌 36, 47, author-stated): 서로 다른 형태(나무, 군집, 공간, 고리, 순서 등)를 모두 그래프로 나타내고, 각 형태의 추상 원리를 그래프를 키우는 단순한 문법 규칙으로 표현한다. HBM 안에서 이 방식은 여러 실제 영역에 대해 올바른 형태(문법)와 그 형태의 최적 구조(그래프)를 함께 찾는다. Fig. 1A의 새 물체들에서는 위계 조직(Fig. 1B 같은)이 2차원 공간 같은 대안보다 사람이 보는 유사성을 더 잘 맞춘다고 추론할 수 있다.
• 인과 틀 이론 학습(p.1283, Fig. 3B–C, 참고문헌 38, 48, author-stated): 두 변수 부류(병, 증상)와 “병→증상” 선호를 담은 그래프 스키마를, 구체적 병-증상 연결을 배우는 바로 그 데이터에서 그만큼 또는 더 빨리 배운다. 배운 스키마는 다시 아래층의 구체 인과 관계 학습을 크게 앞당긴다. “큰 그림을 먼저” 배우고 그 틀로 빈칸을 채우는 것은 사람다운 학습 방식이며, 아이의 발달과 과학의 진보에서 두드러지지만 합리적·통계적 학습 모형의 지형에는 이전까지 들어맞지 않았다고 저자들은 쓴다(p.1284, author-stated).
• 유연성: 비모수(nonparametric) HBM(p.1284, author-stated): 이 HBM은 변수 부류의 수조차 미리 알 필요가 없다. “무한” 또는 비모수 계층 모형은 구조의 양을 무한히 허용하되 주어진 데이터에 대해서는 유한한 자유도만 실제로 쓰며(참고문헌 49), 자동 오컴의 면도날이 모형 복잡도와 데이터 적합을 맞바꿔 새 구조(예: 새 변수 부류)는 데이터가 정말 요구할 때만 들인다.
  • Fig. 3C의 노드 부류 분포는 중국식 식당 과정(CRP, Chinese restaurant process)(새 손님이 기존 테이블에 앉을지 새 테이블을 열지 정하듯, 새 대상을 기존 범주에 넣을지 새 범주를 만들지 정하는 확률 과정)이다. CRP 모형은 지도 없이 새 범주를 배우는 방식에 대한 최초의 원리적 설명을 주었다(참고문헌 50, 51, fig. S3).
  • CrossCat은 CRP를 확장해 대상의 성질들을 서로 다른 하위 영역(“관점”)으로 나눈다(참고문헌 52, fig. S4).
  • CRP는 분절되지 않은 말소리에서 단어 발견, 형태 규칙 학습, 단어 의미의 위계 의미망 조직에도 쓰였다(참고문헌 53–56, fig. S5).
  • 관련된 비모수 구성인 인도식 뷔페 과정(IBP, Indian buffet process)은 범주화 중에 새로운 지각 특징이 어떻게 구성되는지 설명한다(참고문헌 57, 58).
• 추상화의 축복(p.1284, author-stated): 구조 형태 발견, 인과 틀 이론, 전이 학습으로 얻는 귀납 제약 등 여러 사례 연구에서, HBM의 추상화는 아래층 학습에 필요한 양과 비교해 상대적으로 적은 데이터로 놀랍도록 빨리 배워질 수 있었다. 위층의 자유도 하나가 아래층 많은 변수에 영향을 주고 그 변수들에서 증거를 모으기 때문이다. 저자들은 이것이 생득론(추상 개념이 태어날 때부터 있음)과 경험론·연합론(추상화가 아래에서 위로 천천히, 근사적으로만 만들어짐)과 뚜렷이 대비되는 “위에서 아래로(top-down)” 경로라고 본다. 그리고 사람의 추상 지식이 경험에서 배울 수 있으면서도 아주 이른 시기에 쓰인다는 두 특징을 설명하는 데 HBM만이 맞아 보인다고 주장한다(author-stated).

비교 대상과 실험 설정

이 논문 자체의 실험 설정(반복 횟수, 하드웨어, 학습량)은 없다. Fig. 2·3의 결과는 각각 Kemp & Tenenbaum(참고문헌 47), Mansinghka et al.(참고문헌 48), 참고문헌 62의 원 연구에서 온 것이며, 원 연구의 세부 설정은 이 논문에 보고되지 않았다.

주요 결과

리뷰이므로 아래 행은 저자들이 정리해 제시한 주장과 그 근거 위치다. 실험 수치의 원 출처는 각 행에 적은 참고문헌이다.

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
사람은 아주 적은 예시로 강하게 일반화한다	p.1279; Fig. 1A	2살 아이가 몇 개 예시로 새 단어 학습(참고문헌 1, 2); 외계 물체 “tufa” 예시 3개를 본 성인은 거의 모두 같은 물체 집합(회색 상자)을 고름	성인 반응의 비율·참가자 수는 이 논문에 보고되지 않음(참고문헌 75 인용)	author-stated
개념 학습은 나무 구조 위의 베이즈 추론으로 모형화된다	Fig. 1B; p.1281	사전분포는 가지 길이(범주의 뚜렷함), 가능도는 예시가 가지에서 무작위로 뽑혔다는 가정(수상한 우연); 사후분포는 모든 예시를 포함하는 가장 낮은 뚜렷한 가지로의 일반화를 편듦	다른 성질에는 2차원 공간, 1차원 순서, 방향 네트워크가 더 맞음(참고문헌 36)	author-stated
추상적 틀 이론이 가설 공간을 크게 줄인다	p.1281 “The Form of Abstract Knowledge”	16변수 인과 네트워크: 대략 10^46 → (병-증상 이분 그래프 제약) 10^23 → (부류 소속까지 앎) 10^18; n개 대상의 개념: 2^n → (이진 나무 가지) n−1	작은 가설 공간은 참 구조가 그 안이나 근처에 있을 때만 일반화를 돕는다(참고문헌 10)	author-stated
HBM은 데이터에서 구조의 형태 자체를 발견한다	Fig. 2A–E; p.1282–1283	동물 특징 → 나무; 미국 대법관 투표 → 좌-우 사슬; 색 유사도 → 고리; 도시 근접도 → 원통형(위도·경도 유사); 인종·남성성 2차원으로 변하는 얼굴 → 2차원 격자(사슬×사슬)	Kemp & Tenenbaum(참고문헌 47) 결과의 재인용; 정량 적합도는 이 논문에 보고되지 않음. D 패널 라벨은 “ring × chain”, 캡션은 “a ring and a ring”으로 서로 다름(아래 Figure 2 참고)	author-stated
구조 틀 없는 2층 모형은 인과 네트워크를 배우는 데 데이터가 많이 든다	Fig. 3B 캡션	n = 1000에서야 완벽 복원(그림에는 없음); n = 80에서 가짜 연결(회색 칸) 추론; n = 20에서 참 구조 거의 탐지 못함	무정보(uninformative) 사전분포를 쓴 상향식 학습 조건	author-stated
그래프 스키마를 함께 배우는 3층 비모수 HBM은 더 빠르고 정확하다	Fig. 3C 캡션; p.1283	n = 80에서 인과 네트워크를 거의 완벽히 식별; n = 20만으로도 상위 C1 → C2 스키마를 배워 불확실성을 “어느 병이 어느 증상을 일으키나”로 좁힘; 부류 수(여기서는 둘)는 베이즈 오컴의 면도날로 자동 추론	3층 모형이 2층보다 자유도가 훨씬 많은데도 그렇다고 저자들이 강조. Mansinghka et al.(참고문헌 48) 결과. 정량 지표 없이 행렬 그림으로 제시	author-stated
인과성이라는 추상 개념도 배울 수 있다	Fig. 3D 캡션; p.1284 “Open Questions”	1차 논리 법칙 가설 공간에서, 서로 다른 여러 인과 체계의 관찰을 보고 개입 기반 인과성의 올바른 이론으로 “빠르게” 수렴(참고문헌 62)	“빠르게”의 데이터 양·수치는 이 논문에 보고되지 않음	author-stated
추상화의 축복: 위층 지식이 아래층보다 적은 데이터로 배워진다	p.1284	여러 사례 연구(구조 형태, 틀 이론, 전이 학습)에서 관찰됐다고 요약	위층 자유도 하나가 아래층 많은 변수에서 증거를 모은다는 설명; 일반 정리로 증명된 것은 아님	author-stated(현상) / analyst-inference(일반 정리가 아니라는 판단)
비모수 모형 + 베이즈 오컴의 면도날이 제약과 유연성의 균형을 잡는다	p.1284	CRP(범주 학습, fig. S3), CrossCat(fig. S4), 단어 분절·형태 규칙·의미망(fig. S5), IBP(새 특징 구성)	보충 그림 S3–S5는 확보하지 못함	author-stated
열린 문제가 크다	p.1284 “Open Questions”	처음 시작점(어떤 개념이 선천적인가, 참고문헌 7, 61), 직관 물리·심리·생물 같은 핵심 틀 이론, 튜링 완전한 구성적 표현(확률적 1차 논리, 확률적 프로그래밍 언어)에서의 학습 제약, 알고리즘·구현 수준, 신경 회로에서의 구조 표현	저자 스스로 “가장 어려운 도전”, “가장 큰 남은 장애물”이라 부름	author-stated

결과가 이어지는 방식. 첫 세 행은 질문 1(추상 지식이 추론을 어떻게 이끄는가)에, 넷째 행과 “형태” 논의는 질문 2에, 나머지는 질문 3(추상 지식은 어떻게 배우는가)에 대응한다. 논증의 중심은 Fig. 3이다. Fig. 3B와 3C는 같은 데이터(B에서 관찰된 데이터)를 쓰는데(Fig. 3 캡션), 위층(스키마)을 더한 쪽이 아래층(구체 연결)까지 더 빨리 맞힌다. 저자들은 이 대비를 “위층을 배우는 비용이 오히려 이득”이라는 추상화의 축복의 대표 사례로 쓴다(p.1283–1284, author-stated).

결론과 한계의 균형. 저자들은 HBM이 “사람의 마음이 어떻게 작동하고 자라는지 완전히 이해하는 것과는 거리가 멀다”고 스스로 말한다(p.1285, “Conclusions”, author-stated). 그들이 주장하는 기여는 세 가지다. 귀납 문제를 푸는 통일된 수학 언어, 실제 환경 구조에 적응한 합리적 추론이라는 “왜”의 설명, 그리고 “경험론 대 생득론”, “영역 일반 대 영역 특수”, “논리 대 확률”, “기호 대 통계” 같은 양자택일을 넘어서는 것이다(p.1285, author-stated).

Take-home

한 줄 요약. 적은 데이터로 사람처럼 배우는 비결은 “구조화된 추상 지식 + 확률 추론”이며, 그 추상 지식도 계층적 베이즈 모형으로 경험에서, 그것도 구체 지식보다 먼저 배울 수 있다는 것이 이 리뷰의 중심 주장이다(초록, p.1284–1285, author-stated).

결론이 성립하는 범위.

• 근거로 든 시연은 주로 저자 그룹의 계산 모형 연구(Fig. 2: 동물·대법관·색·도시·얼굴 데이터, Fig. 3: 16변수 병-증상 합성 영역, 인과성 논리 이론)다. 각 결과의 데이터 규모와 정량 성능은 이 논문에 보고되지 않았으므로, 원 논문(참고문헌 47, 48, 62)을 봐야 확인된다(author-stated 인용 구조에서 analyst-inference).
• 베이즈 설명은 지각·언어·기억·운동 같은 빠르고 무의식적인 처리에 해당하고, 확률을 명시적으로 계산하는 과제에서는 사람이 베이즈 규범에서 벗어난다고 저자 스스로 범위를 제한한다(p.1280, author-stated).
• 가설 공간 축소가 일반화를 돕는 것은 참 구조가 가설 공간 안이나 근처에 있을 때만이다(p.1281, author-stated).

저자가 인정한 한계 (author-stated, p.1284–1285):

• 추상 개념 가운데 어떤 것은 선천적일 수 있고, HBM이 “어떻게 시작되는가”에 답하지 못한다.
• 직관 물리·심리·생물 같은 핵심 틀 이론은 “겨우 건드린” 수준이며(마음 이론과 틀린 믿음 이해, 선호의 개인차, 본질주의, 자기 직관 등 첫걸음, 참고문헌 63, 64, 39, 38), 이를 온전히 형식화하려면 튜링 완전한 구성적 표현이 필요해 보이는데 그런 유연한 표현에서 학습을 어떻게 제약할지는 “전혀 분명하지 않다”.
• 많은 베이즈 모형은 Marr(참고문헌 68)의 세 수준 중 계산 수준만 다룬다. 이 리뷰의 HBM은 계산과 알고리즘 수준 사이를 겨냥한다. 큰 모형에서 정확한 추론은 복잡하므로 알고리즘·구현 수준은 기껏해야 근사이며, 몬테카를로(Monte Carlo, 무작위 표본으로 계산을 근사하는 방법) 추론은 풍부한 구조 모형에서 가능하지만 매우 느리다.
• 가장 큰 남은 장애물은 구조화된 기호 지식이 신경 회로에 어떻게 표현되는지 이해하는 것이며, 저자들은 이를 “우리 시대의 심신 문제(our modern mind-body problem)“라고 부른다(p.1284–1285).

작성자가 보는 우려 (analyst-inference):

• 저자 그룹이 자신들의 연구를 중심으로 정리한 리뷰이므로, 다른 설명(예: 대규모 신경망 학습)과의 직접 비교 결과는 이 논문 안에 없다. 연결주의에 대한 평가는 2011년 시점의 저자 입장이다.
• “추상화의 축복”은 사례 연구들에서 관찰된 현상으로 제시되며, 어떤 조건에서 성립하고 어떤 조건에서 깨지는지에 대한 일반 조건은 이 논문에서 다루지 않는다.
• Fig. 2 D 패널의 라벨(“ring × chain”)과 캡션 문장(“the cross product of a ring and a ring”)이 서로 다르다. 원통이라는 설명과 맞는 쪽은 패널 라벨로 보이지만, 이는 작성자 판독이다.

반복 횟수와 코드·데이터 공개. 이 논문은 자체 실험을 하지 않으므로 seed·run 수, 코드·데이터 공개 여부는 보고되지 않았다.

읽지 못한 범위(unknown). SOM text와 fig. S1–S5(전이 학습, CRP, CrossCat, 언어 학습 사례)는 확보하지 못했다.

본문 도표

본문 도표는 Figure 1–3 세 개이며 표(Table)는 없다(p.1279–1285 전체 확인). 보충자료의 fig. S1–S5는 본문 범위 밖이다.

Figure 1 — 몇 개의 예시로 물체 이름 배우기

• 무엇을 보여주는가: 사람(아이와 어른)이 몇 개 예시만으로 새 물체 개념의 이름을 강하게 일반화하는 현상(A)과, 이를 나무 구조 위의 베이즈 추론으로 설명하는 모형(B)(p.1280, Fig. 1 캡션, author-stated).
• 읽는 법: (A) 컴퓨터 그래픽으로 만든 외계 물체 격자. 빨간 상자 세 개가 외계 언어 단어 “tufa”의 예시이고, 회색 상자가 사람들이 “tufa”라고 고른 물체다. (B) 같은 물체들이 나무의 잎에 놓인 계통수 모양 그림. 가지의 높이가 일반성 수준(예: 클라이즈데일 → 말 → 동물 → 생물)에 해당하고, 단어가 가리킬 수 있는 범주 가설이 각 가지다. 빨간 상자는 예시, 회색 상자는 일반화 범위다.
• 핵심 관찰: “거의 모든 사람”이 회색 상자 물체만 고른다(캡션, 참고문헌 75, author-stated). 모형에서 사전분포는 가지 길이(범주의 뚜렷함)로, 가능도는 예시가 가지에서 무작위로 뽑혔다는 가정으로 정해지며, 낮은 가지가 예시를 촘촘히 덮을수록 유리하다. 이것이 “한 단어의 예시들이 모두 나무의 같은 부분에 몰려 있는 것은 수상한 우연”이라는 감각을 담는다. 둘을 곱한 사후분포는 관찰된 예시를 모두 포함하는 가장 낮은 뚜렷한 가지로의 일반화를 편든다(캡션, author-stated). 그림 (B)에서 회색 상자는 빨간 예시 세 개를 모두 포함하는 작은 하위 가지를 감싼다(그림 판독, analyst-inference).
• 의미와 주의: 저자들은 이 빠른 일반화 과정이 아이의 단어 학습과 같은 성격이며 어른의 외계 물체 이름 학습으로 연구할 수 있다고 본다(author-stated). 사람 반응의 비율이나 참가자 수는 이 논문에 없다. 나무라는 형태가 왜 맞는지는 Figure 2의 구조 형태 발견으로 이어진다(p.1283, author-stated).
• 확인 상태: viewed

Figure 2 — 그래프 문법 위의 HBM으로 구조의 형태 발견하기

• 무엇을 보여주는가: Kemp & Tenenbaum(참고문헌 47)의 HBM이 영역마다 알맞은 구조 형태(나무, 사슬, 고리, 그 곱)를 데이터에서 스스로 찾아내는 다섯 사례(p.1282, Fig. 2 캡션, author-stated).
• 읽는 법: (A) 왼쪽에 세 층이 위에서 아래로 놓인다. 맨 위 “Abstract principles”(형태 F: 시드 노드에서 그래프를 키우는 문법 규칙. 예: “tree:” 노드 하나를 가지 친 둘로 나누는 규칙), 가운데 “Structure”(그래프 S, 대상 사이 관계), 맨 아래 “Data”(행렬 D, 행은 대상(동물), 열은 특징, 칸은 그 대상에서 특징이 관찰됐는지). 빨간 화살표는 각 층이 아래층에 주는 조건부 확률 P(S|F), P(D|S)다. (B)–(E)는 다른 데이터에 대해 찾은 구조와 그 형태 규칙(chain, ring, ring × chain, chain × chain)을 보여 준다.
• 핵심 관찰 (캡션, author-stated):
  • (A) 동물 특징 데이터 → 여러 규모에서 직관적으로 납득되는 범주를 가진 나무 구조. 그림에는 새(Robin, Eagle, Penguin 등), 어류·파충류(Salmon, Trout, Alligator 등), 곤충(Ant, Bee, Butterfly 등), 포유류 무리가 가지로 나뉜다(그림 판독, analyst-inference).
  • (B) 미국 대법관의 투표 패턴 → 선형 “좌-우” 스펙트럼(사슬). 그림에는 Marshall, Brennan에서 Scalia, Thomas까지 이름이 한 줄로 놓인다(그림 판독, analyst-inference).
  • (C) 색 사이 주관적 유사도 → 원형 고리.
  • (D) 지구상 도시 사이 근접도 → 위도·경도와 비슷한 원통형 표현.
  • (E) 인종과 남성성 두 차원으로 변하는 사실적 합성 얼굴 이미지 → 두 사슬의 곱인 2차원 격자.
• 의미와 주의: 기술적으로 그래프 라플라시안(graph Laplacian, 그래프의 연결 구조를 행렬로 쓴 것)이 대상마다 한 차원을 둔 가우시안 분포의 역공분산을 정하고, 각 특징은 그 분포에서 독립적으로 뽑힌다. 그래서 “그래프에서 가까운 대상은 비슷한 특징값을 가진다”(캡션, author-stated). 탐색 알고리즘은 P(D|S)와 P(S|F)의 곱의 함수인 사후확률 P(S,F|D)를 함께 최대화하는 형태 F와 구조 S를 찾는다(캡션, author-stated). 각 사례의 정량 적합도나 대안 형태와의 점수 비교는 이 논문에 보고되지 않았다. (D) 패널 상단 라벨은 “ring × chain”인데 캡션은 “the cross product of a ring and a ring”이라고 써서 서로 맞지 않는다. 원통(위도는 사슬, 경도는 고리)이라는 설명과 맞는 것은 패널 라벨 쪽으로 보인다(analyst-inference).
• 확인 상태: viewed

Figure 3 — 그래프 스키마 위의 HBM으로 직관 이론과 인과 관계 배우기

• 무엇을 보여주는가: 직관 이론(병과 증상의 틀)이 어떻게 획득되고, 그 틀이 적은 데이터에서 구체적 인과 관계 학습을 어떻게 돕는지(A–C), 그리고 인과성이라는 더 추상적인 이론도 배울 수 있음(D)(p.1283, Fig. 3 캡션, 참고문헌 38, author-stated).
• 읽는 법:
  • (A) “True structure”: 16개 변수. 위 줄 1–6은 “병”의 유무, 아래 줄 7–16은 “증상”이며 병에서 증상으로 화살표가 간다. 오른쪽 위 16×16 행렬은 같은 네트워크로, 검은 칸이 연결이다(캡션, author-stated).
  • (B) 2층 HBM(아래 Data 행렬 D: 행은 환자, 열은 변수 / 위 Structure: 각 쌍 사이 인과 연결의 사후확률을 회색 농도로 칠한 행렬). n = 20, n = 80 두 열을 비교한다. (A)의 흑백 정답 행렬과 비교하면 된다.
  • (C) 3층 비모수 HBM. 맨 위 “Abstract principles”에 변수 부류 C1(1–6)과 C2(7–16), 그 사이 C1 → C2 화살표가 있다. 가운데 Structure 행렬은 n = 20, n = 80에서 추론된 네트워크다. 화살표 위 숫자 0.4는 캡션에서 설명되지 않는다. 부류 사이 연결 확률로 보이지만 작성자 추정이다(그림 판독, analyst-inference).
  • (D) 맨 위에 1차 논리 법칙 세 줄(∀x ∀y A(x) → ¬R(y,x); ∀x A(x) → ∃y R(x,y); ∀x F1(x) → A(x)), 가운데 서로 다른 인과 체계를 나타내는 작은 방향 그래프 세 개(회색 노드 포함), 맨 아래 각 체계의 Events × Variables 데이터 행렬 세 개(그림 판독, analyst-inference).
• 핵심 관찰 (캡션, author-stated):
  • (B) 참 인과 네트워크는 아주 많은 환자(n = 1000, 그림에는 없음)를 봐야 완벽히 복원된다. n = 80에서는 가짜 연결(회색 칸)이 추론되고, n = 20에서는 참 구조가 거의 탐지되지 않는다.
  • (C) 스키마가 변수 1–6을 C1, 7–16을 C2에 넣고 C1 → C2 연결만 편드는 사전분포를 두어 병-증상 틀 이론을 발견한다. 이 배정과 유효 부류 수(여기서는 둘)는 베이즈 오컴의 면도날로 자동 추론된다. 이 3층 모형은 (B)의 모형보다 자유도가 훨씬 많은데도 학습이 더 빠르고 정확하다. n = 80에서 인과 네트워크가 거의 완벽히 식별되고, n = 20만으로도 상위 C1 → C2 스키마를 배워 네트워크 수준의 불확실성을 “어느 병이 어느 증상을 일으키나”로 좁힌다.
  • (D) 맨 위 층은 인과 관계의 추상 성질, 인과 방향을 정할 때 외생적 개입의 역할, 사건을 외생적 개입으로 표시할 수 있는 특징을 1차 논리로 쓴 법칙들이다. 이 법칙들이 아래층의 가능한 방향 그래프를 제약하고, 그래프들이 다시 관찰 사건 패턴을 설명한다. 서로 다른 여러 인과 체계의 관찰과 가능한 법칙들의 가설 공간이 주어지면 모형은 개입 기반 인과성의 올바른 이론으로 빠르게 수렴하고, 그 이론으로 각 체계의 구체 인과 네트워크 추론을 제약한다(참고문헌 62).
• 의미와 주의: 저자들은 B와 C가 같은 데이터(B에서 관찰된 데이터)로 스키마와 네트워크를 함께 배운다는 점을 강조한다(캡션, author-stated). 이것이 본문(p.1283–1284)의 “큰 그림을 먼저” 배우는 학습과 추상화의 축복 주장의 핵심 시연이다. 결과는 행렬 그림으로만 제시되며, 복원 정확도나 n별 오류율 같은 수치는 이 논문에 보고되지 않았다. 병-증상 영역은 16변수 예시 영역이다(author-stated: “A simple medical reasoning domain might be described by relations among 16 variables”). 실제 의료 데이터인지 합성 데이터인지는 이 논문에서 확인되지 않는다(unknown).
• 확인 상태: viewed

Wiki 연결

• Building Machines That Learn and Think Like People — 같은 연구 흐름(Tenenbaum 그룹)이 6년 뒤 딥러닝에 무엇이 빠졌는지 정리한 입장문. 이 리뷰의 “적은 데이터로 배우기·구조화된 사전 지식” 주장이 어떻게 기계 학습 비판으로 이어지는지 볼 수 있다.
• On the Measure of Intelligence — 지능을 “새 기술을 얼마나 효율적으로 얻는가”로 정의하고 사전 지식(core knowledge)을 통제하자는 논의. 이 리뷰의 “추상 지식이 데이터 부족을 메운다”는 관점과 나란히 읽을 만하다.
• AI 분야 주목할 연구자 입문 — Josh Tenenbaum 절에서 이 논문을 “구조화된 사전 지식과 통계적 학습이 어떻게 함께 작동하는지 정리한 종합 논문”으로 소개한다.

BibTeX

@article{tenenbaum2011grow,
  title   = {How to Grow a Mind: Statistics, Structure, and Abstraction},
  author  = {Tenenbaum, Joshua B. and Kemp, Charles and Griffiths, Thomas L. and Goodman, Noah D.},
  journal = {Science},
  volume  = {331},
  number  = {6022},
  pages   = {1279--1285},
  year    = {2011},
  doi     = {10.1126/science.1192788}
}