빈 서가인가 잃어버린 열쇠인가: 회상(recall)이 파라메트릭 사실성의 병목이다

Digest: 대형 언어모델(LLM)이 사실을 틀리는 이유를 흔히 “그 지식을 아예 학습하지 못해서”라고 여긴다. 이 논문은 그 통념에 도전하여 실패를 두 종류로 구분한다 — 지식 자체가 없는 “빈 서가(empty shelves)“와, 파라미터에 저장은 됐지만 꺼내지 못하는 “잃어버린 열쇠(lost keys)“. 저자들은 13개 LLM에서 400만 개 응답을 모은 WikiProfile 벤치마크를 만들어, frontier(최전선) 모델이 사실의 95–98%를 실제로 인코딩하고 있음을 보인다. 그럼에도 오류가 발생하는 핵심 원인은 recall(회상/접근) 실패이며, 기존에 “지식 부재”로 귀속되던 오류 상당수가 실은 접근 실패라는 것이 주장의 핵심이다. 이 회상 실패는 long-tail(희귀·꼬리) 사실과 reverse-question(역방향 질문)에서 특히 심하고, inference-time reasoning(추론 시점 사고)으로 잃어버린 답의 상당 부분을 복구할 수 있다. 다만 본 노트는 전문 미확보(HTML 변환 실패) 상태로 초록 기반 요약이며, 세부 수치표·방법·baseline은 확인되지 않아 신뢰도 등급을 보수적으로 C로 둔다. 남은 질문: 인코딩 여부를 어떻게 조작적으로 측정했고, 복구 가능한 회상 실패와 진짜 지식 부재를 어떤 기준으로 갈랐는가.

먼저 이해하기

이 논문은 “LLM이 어떤 사실 질문에 틀린 답을 했을 때, 그 모델이 정말 그 사실을 모르는 걸까, 아니면 알고 있는데 못 꺼낸 걸까?”라는 물음을 다룹니다. 저자들은 이를 두 가지 은유로 나눕니다. 첫째는 empty shelves(빈 서가) — 서가에 책 자체가 없는 상태, 즉 parametric knowledge(파라메트릭 지식, 모델 가중치 안에 저장된 지식) 자체가 없는 경우입니다. 둘째는 lost keys(잃어버린 열쇠) — 책은 서가에 있는데 그 방을 여는 열쇠를 잃어버려 못 꺼내는 상태, 즉 지식은 저장돼 있으나 recall(회상/접근)에 실패한 경우입니다.

핵심 주장은 “많은 사실 오류가 사실은 빈 서가가 아니라 잃어버린 열쇠 문제”라는 것입니다. 초록에 따르면 frontier(최전선) 모델은 사실의 95–98%를 인코딩하고 있는데도 오류를 내며, 그 상당수가 접근 실패에서 비롯됩니다. 이것이 중요한 이유는, 만약 병목이 “지식 부재”라면 더 많은 데이터로 계속 학습시켜야 하지만, 병목이 “접근 실패”라면 학습을 늘리는 대신 회상을 돕는 방법(예: 추론 시점 사고)으로 성능을 끌어올릴 수 있기 때문입니다. 실제로 초록은 inference-time reasoning(추론 시점 사고)이 잃어버린 답의 상당 부분을 복구한다고 보고합니다.

용어	뜻
parametric factuality(파라메트릭 사실성)	모델 가중치 안에 저장된 지식만으로 사실 질문에 옳게 답하는 능력
empty shelves(빈 서가)	사실이 모델에 애초에 인코딩되지 않은 상태(진짜 지식 부재)
lost keys(잃어버린 열쇠)	사실이 저장은 됐으나 꺼내지 못하는 상태(회상/접근 실패)
recall(회상/접근)	저장된 지식을 실제 응답에서 끌어내는 과정
long-tail(롱테일)	드물게 등장하는 희귀 개체·사실
reverse-question(역방향 질문)	정방향(A의 속성은?)이 아니라 역방향(이 속성을 가진 것은 누구?)으로 묻는 질문
inference-time reasoning(추론 시점 사고)	답을 내기 전에 모델이 단계적으로 추론하도록 하는 기법

섹션별 요약

초록 (Abstract)

저자들은 LLM의 사실성 실패를 “지식 부재”와 “저장됐지만 접근 불가”의 두 유형으로 구분한다. 이를 검증하기 위해 13개 LLM에서 수집한 400만 개 응답으로 구성된 WikiProfile 벤치마크를 도입한다. 핵심 발견은 frontier 모델이 사실의 95–98%를 인코딩하고 있음에도 “recall이 주요 병목으로 남아 있으며, 기존에 지식 부재로 귀속되던 다수의 오류가 실은 그것에 접근하지 못한 데서 비롯된다”는 것이다. 이러한 회상 실패는 long-tail 및 reverse-question 사실에 불균형적으로 크게 나타나며, inference-time reasoning이 잃어버린 답의 상당 부분을 복구할 수 있음을 보인다.

저자 contribution

parametric factuality 실패를 empty shelves(지식 부재) vs lost keys(접근 실패)로 개념적으로 구분하고 이를 실증한다.
13개 LLM · 400만 응답 규모의 WikiProfile 벤치마크를 구축한다.
recall 병목이 long-tail·reverse-question에 집중되며 inference-time reasoning으로 부분 복구됨을 보인다.

왜 이 연구를 하는가?

동기는 LLM 사실 오류의 원인 귀속(attribution)이 잘못돼 왔다는 문제의식이다. 기존 통념은 모델이 틀리면 “그 지식을 학습하지 못했다”고 해석하는 경향이 있는데, 이는 곧 “더 많은 데이터·더 큰 모델”이라는 처방으로 이어진다. 그러나 만약 지식이 이미 파라미터에 있는데 꺼내지 못하는 것이라면 처방이 완전히 달라진다.

기존 한계로 초록이 시사하는 바는 다음과 같다. (1) 사실 오류를 “부재”와 “접근 실패”로 분리해 측정하는 대규모 벤치마크가 부재했다. (2) frontier 모델의 실제 인코딩 수준(95–98%)이 정량화되지 않아, 오류의 원인이 과대·오귀속되어 왔다. 핵심 RQ는 “LLM 사실 오류 중 얼마만큼이 진짜 지식 부재이고 얼마만큼이 회상 실패인가, 그리고 회상 실패는 어떤 유형의 사실에서 두드러지는가”이다.

전문 미확보(HTML 변환 실패) — 초록 기반 요약. 위 동기·한계 서술은 초록이 명시한 범위 내 재구성이며, 원문 서론의 구체적 선행연구 인용은 확인되지 않았다.

방법 (Methods)

전문 미확보(HTML 변환 실패) — 초록 기반 요약. 확보된 정보 범위에서 방법의 골격만 서술한다.

벤치마크: WikiProfile를 구축하고, 13개 LLM으로부터 총 400만 개의 응답을 수집한다.
분석 축: 각 사실 항목에 대해 (a) 모델이 그 사실을 인코딩했는지(저장 여부)와 (b) 실제 응답에서 정확히 회상했는지(접근 여부)를 구분해 측정하는 것으로 보인다.
조건 분해: 사실을 long-tail 대 빈출, 정방향 대 reverse-question으로 나누어 회상 실패율의 분포를 관찰한다.
개입: inference-time reasoning을 적용해 초기 오답 중 얼마가 복구되는지를 측정한다.

인코딩 여부를 어떤 프로빙/판정 절차로 확정했는지, 회상 성공/실패의 조작적 정의, 채점 방식 등 방법 세부는 미확보이므로 추측하지 않는다.

결과 (Results)

전문 미확보(HTML 변환 실패) — 초록 기반 요약. 초록이 명시한 정량 결과만 인용한다.

frontier 모델은 사실의 95–98%를 인코딩(초록).
그럼에도 recall이 주요 병목으로 남으며, “지식 부재로 귀속되던 오류의 상당수가 실은 접근 실패”(초록).
회상 실패는 long-tail 및 reverse-question 사실에 불균형적으로 집중(초록).
inference-time reasoning이 잃어버린 답의 상당 부분을 복구(초록).

세부 수치표, 모델별 분해, baseline 비교, ablation 결과는 미확보이므로 제시하지 않는다.

발견

저장(인코딩)과 회상(접근)은 분리 가능한 실패 축이며, 최전선 모델의 병목은 후자다.
회상 실패는 사실의 희귀도(long-tail)와 질문 방향(reverse-question)에 민감하다.
학습을 늘리지 않고도 추론 시점 개입만으로 상당한 정답을 되살릴 수 있다.

논의 (Discussion)

한계(초록 기반 추론 및 노트 작성 상황):

(측정) “인코딩됐다”의 판정은 프로빙 방식에 의존하므로, 95–98%라는 수치의 견고성은 방법 세부에 좌우된다 — 본 노트에서는 그 세부가 미확보다.
(일반화) WikiProfile는 위키 계열 개체 사실 중심으로 보이며, 상식·수치·시간 의존 사실 등 다른 지식 유형으로의 일반화는 확인되지 않았다.
(재현) 코드·데이터 공개 여부가 확인되지 않아 재현성 판단이 제한된다.

향후 방향: 회상을 직접 개선하는 학습·디코딩·프롬프트 기법, reverse-question 취약성의 메커니즘 규명, inference-time reasoning의 복구 한계 분석.

이론적 의의: 사실 오류를 “무엇을 아느냐(knowledge)“와 “무엇을 꺼낼 수 있느냐(access)“로 분리하는 프레임은, 지식 편집·검색증강·환각 완화 연구의 문제 정의 자체를 재조정한다.

Discussion Points

검증할 가정: “인코딩됨”의 조작적 정의가 다르면 95–98%가 흔들리는가? 프로빙이 우연한 정답을 인코딩으로 오판하지는 않는가.
논쟁점: 회상 실패와 진짜 지식 부재의 경계선은 어디이며, inference-time reasoning으로 복구되지 않는 잔여 오류는 어느 범주인가.
후속 연구: reverse-question 취약성이 학습 데이터의 방향 비대칭(reversal curse류)과 어떻게 연결되는가.

실험 결과 상세

전문 미확보(HTML 변환 실패)로 세부 표를 재구성할 수 없다. 초록에 명시된 정량 정보만 아래에 정리한다(그 외 수치는 추측 금지).

항목	값(초록 근거)	비고
벤치마크	WikiProfile	신규 도입
응답 수	4,000,000	13개 LLM 수집
모델 수	13	세부 리스트 미확보
frontier 인코딩 비율	95–98%	사실 인코딩 추정치
취약 구간	long-tail, reverse-question	회상 실패 집중
복구 개입	inference-time reasoning	상당 부분 복구(수치 미확보)

프레임워크 다이어그램

flowchart TD
    Q["사실 질문"] --> ENC{"파라미터에 인코딩됐는가"}
    ENC -->|"아니오"| EMPTY["empty shelves 지식 부재"]
    ENC -->|"예 95-98퍼센트"| REC{"응답에서 회상 성공"}
    REC -->|"성공"| OK["정답"]
    REC -->|"실패"| LOST["lost keys 접근 실패"]
    LOST --> TAIL["long-tail 및 reverse-question 에서 심화"]
    LOST --> REASON["inference-time reasoning 으로 일부 복구"]
    REASON --> OK

재현성 및 신뢰도 평가

코드 공개: 초록/abs 페이지에 명시 없음(미확보).
재현성 종합등급: C — 벤치마크 규모(13 LLM·400만 응답)는 크지만 전문·방법 세부·데이터/코드 공개 여부가 미확보라 독립 재현 가능성을 판단할 근거가 부족하다.
주장별 신뢰도:
- “frontier 모델이 사실의 95–98%를 인코딩” — 중간. 초록 명시 수치이나 인코딩 판정 방법이 미확보라 견고성 미확인.
- “recall이 주 병목이며 다수 오류가 접근 실패” — 중간. 논문의 중심 주장이나 뒷받침 표·통계 미확보.
- “long-tail·reverse-question에 회상 실패 집중” — 중간. 초록 명시 방향성이나 정량 분해 미확보.
- “inference-time reasoning이 상당 부분 복구” — 낮음~중간. 복구율 수치 미확보로 크기 판단 불가.

연구	문제	접근	차별점
본 논문 (WikiProfile)	사실 오류가 부재인가 접근 실패인가	대규모 응답 벤치마크로 인코딩 vs 회상 분리 측정	회상(recall)을 주 병목으로 지목·정량화
Catastrophic Forgetting via Implicit Inference	학습 후 능력이 “사라진” 듯 보이는 현상	task-inference 관점에서 억제/재활성 해석	지식이 소멸이 아니라 접근·추론 억제라는 공통 관점

원자적 인사이트 (Zettelkasten)

저장(인코딩)과 회상(접근)은 별개의 실패 축이다 — “모델이 틀렸다”가 곧 “모델이 모른다”를 뜻하지 않는다.
frontier 모델의 사실성 병목은 데이터 부족이 아니라 접근 실패일 수 있으며, 이는 “더 학습”이 아닌 “더 잘 꺼내기”라는 처방으로 이어진다.
회상 실패는 사실의 희귀도(long-tail)와 질문 방향(reverse-question)에 민감하다 — 접근성은 지식의 통계적·구조적 위치에 좌우된다.
inference-time reasoning으로 오답이 복구된다는 것은, 그 답이 이미 파라미터 안에 있었다는 강한 증거다(회상 실패의 사후 검증).

핵심 용어 정리

parametric factuality(파라메트릭 사실성): 외부 검색 없이 모델 내부 지식만으로 사실을 옳게 답하는 능력.
empty shelves(빈 서가): 사실이 애초에 인코딩되지 않은 진짜 지식 부재.
lost keys(잃어버린 열쇠): 인코딩은 됐으나 회상·접근에 실패한 상태.
recall(회상/접근): 저장된 지식을 실제 응답으로 끌어내는 과정, 본 논문이 지목한 주 병목.
long-tail(롱테일): 드물게 등장해 접근이 특히 어려운 희귀 사실.
reverse-question(역방향 질문): 속성으로부터 개체를 되묻는 방향의 질문으로 회상 실패가 두드러짐.
inference-time reasoning(추론 시점 사고): 답 산출 전 단계적 추론으로 회상을 돕는 개입.
WikiProfile: 13개 LLM의 400만 응답으로 구성된 본 논문의 사실성 벤치마크.

BibTeX

@article{calderon2026emptyshelves,
  title={Empty Shelves or Lost Keys? Recall Is the Bottleneck for Parametric Factuality},
  author={Calderon, Nitay and Ben-David, Eyal and Gekhman, Zorik and Ofek, Eran and Yona, Gal},
  journal={arXiv preprint arXiv:2602.14080},
  year={2026}
}

빈 서가인가 잃어버린 열쇠인가: 회상(recall)이 파라메트릭 사실성의 병목이다

빈 서가인가 잃어버린 열쇠인가: 회상(recall)이 파라메트릭 사실성의 병목이다

먼저 이해하기

섹션별 요약

초록 (Abstract)

왜 이 연구를 하는가?

방법 (Methods)

결과 (Results)

논의 (Discussion)

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX