LLM 지시의 표현 격차를 소크라테스식 질문으로 메우기
Digest: 사람은 복잡한 생각을 AI에게 정확히 전달하기 어렵고(intention expression gap, 의도 표현 격차), 이 때문에 “말해보고 틀리면 다시 말하는” 비효율적 시행착오 루프에 갇힌다. 기존 방식은 AI가 수동적으로 지시를 따르거나(passive instruction-following), 고정된 슬롯을 채우는 대화(TOD)에 머물러 고차원 작업에는 부적합하다. 저자들은 AI가 거꾸로 사람에게 질문을 던져 의도의 불확실성을 능동적으로 줄이는 에이전트 Nous를 제안하고, 그 핵심으로 대화가 만들어내는 정보이득(information gain)을 내재 보상(intrinsic reward)으로 쓴다 — 이는 구조화된 작업 공간에 대한 Shannon 엔트로피 감소와 형식적으로 동치다. 과학 다이어그램 생성 과제에서 자동 시뮬레이션으로 선호 데이터를 만들어 오프라인 GRPO로 학습한 결과, Nous(OfG)는 20.3턴에 총 정보이득 120.5로 GPT-5·Qwen3 프롬프트 베이스라인을 앞서고 주관 승률 0.68, VisPainter 객관 점수 0.76을 기록했다(Table 1~3). 인간 주석·외부 보상모델 없이도 작동한다는 점이 배운 점이며, 조건부 독립 가정과 1,100장의 소규모 데이터, Oracle 템플릿 의존이 남은 질문이다.
먼저 이해하기
우리가 AI에게 무언가를 만들어 달라고 할 때, 머릿속 아이디어는 복잡하고 여러 갈래인데 그것을 짧은 문장으로 옮기는 순간 많은 정보가 빠진다. 저자들은 이 간극을 intention expression gap(의도 표현 격차 — 머릿속 의도와 실제로 전달한 지시 사이의 차이)이라 부른다. 지금까지 AI는 이 격차를 사용자가 알아서 메우도록 두고, 부족한 지시를 그대로 따르다가 틀리면 사용자가 다시 고쳐 말하는 방식이었다. 저자들은 이를 뒤집는다. “왜 항상 사람이 힘들게 AI를 가르쳐야 하는가, AI가 사람을 똑똑하게 안내하면 안 되는가?”라는 물음에서 출발해, AI가 먼저 질문을 던져 사용자의 진짜 의도를 끌어내는 Nous를 만든다.
핵심은 “어떤 질문이 좋은 질문인가”를 수학적으로 정의한 데 있다. 좋은 질문은 답을 듣고 나서 남은 불확실성을 가장 많이 줄여 주는 질문이다. 저자들은 이 불확실성을 information theory(정보이론)의 entropy(엔트로피 — 확률 분포가 얼마나 퍼져 있는지, 즉 얼마나 불확실한지의 척도)로 재고, 질문 하나가 줄여 준 엔트로피 양을 information gain(정보이득)이라 부른 뒤, 이것을 학습의 보상으로 쓴다. 즉 사람의 라벨링이나 별도의 보상 모델 없이도 “정보를 많이 얻어내는 질문”을 하도록 스스로 학습한다.
이것이 중요한 이유는 두 가지다. 첫째, 사람이 잘 표현하지 못해도 AI가 부족한 부분을 짚어 물어보므로, 사용자 전문성에 관계없이 결과 품질이 유지된다(실제로 초보자 실험에서도 품질 0.74가 유지됨). 둘째, 인간 주석에 의존하지 않으므로 확장성이 좋다.
| 용어 | 뜻 |
|---|---|
| intention expression gap | 사용자가 머릿속 의도를 지시로 옮길 때 생기는 정보 손실 |
| Socratic method(소크라테스식 방법) | 답을 주는 대신 질문으로 상대의 생각을 끌어내는 방식 |
| information gain(정보이득) | 질문 전후로 줄어든 불확실성(엔트로피)의 양 |
| intrinsic reward(내재 보상) | 외부 라벨 없이 과제 내부에서 스스로 계산하는 보상 |
| belief state(믿음 상태) | 지금까지의 대화로 추정한 사용자 의도의 확률 분포 |
섹션별 요약
초록 (Abstract)
논문은 사람이 복잡한 생각을 AI에게 전달하기 어려운 intention expression gap을 다룬다. 수동적으로 지시를 따르는 대신 사용자 의도의 불확실성을 능동적으로 캐묻는 에이전트 Nous를 제안한다. 핵심 메커니즘은 정보이론을 사용해 대화가 만드는 정보이득을 내재 보상으로 삼으며, 이는 구조화된 작업 공간에 대한 Shannon 엔트로피 감소와 형식적으로 동치다. 인간 주석과 외부 보상모델 의존을 없앴고, 과학 다이어그램 생성을 위한 선호 기반 데이터셋을 만드는 자동 시뮬레이션 파이프라인을 개발했다. 실험(ablation, 주관·객관 평가, 사용자 전문성 테스트)은 뛰어난 효율과 출력 품질을, 그리고 사용자 전문성에 대한 강건성을 보인다.
저자 contribution
- 소크라테스식 상호작용을 구현한 에이전트 Nous를 제안한다.
- 대화 기반 정보이득을 내재 보상으로 쓰는 정보이론적 프레임워크를 정식화한다.
- 선호 기반 데이터셋을 만드는 자동 시뮬레이션 파이프라인을 개발한다.
왜 이 연구를 하는가?
동기는 사용자가 고차원 아이디어를 잘 표현하지 못해 “비효율적 시행착오 루프”에 갇히고, 수동적 지시 따르기가 복잡한 과제에는 “근본적으로 지속 불가능”하다는 데 있다. 기존 한계는 다음과 같다. (1) Task-Oriented Dialogue(TOD, 과제 지향 대화)는 고정된 슬롯을 채우는 “수렴적 검색”에 머문다. (2) LLM의 능동적 명료화(proactive-clarification) 접근도 여전히 수동적이다. (3) 정보이득 기반 방법(UoT)은 시뮬레이션 기반 계획에 의존해 조합이 35,000개를 넘는 고차원 공간에서는 다루기 어렵다. (4) 프롬프트 기반 명료화는 구조적 제약이 아니라 고수준 의미 모호성 해소에 집중한다. 핵심 통찰은 소크라테스식 방법을 협력적 발견으로 보고, AI가 사람을 질문으로 안내하게 만드는 것이다.
방법 (Methods)
다이어그램 사양 G를 고차원 이산 공간의 한 점으로 본다. N개의 속성 V={V1..Vn}이 있고 각 속성 vi는 유한한 도메인 Si의 값을 가진다.
- Eq1: Pt(G)=∏ P(Vi|Ht) — 대화 이력 Ht가 주어졌을 때 속성 간 조건부 독립 가정.
- Eq2: P0(Vi=vj)=Count_D(Vi=vj)/|D| — 코퍼스 D 위의 경험적 사전 분포(empirical prior).
- Eq3: H(Pt(G)) = -∑ Pt(g)log2 Pt(g) = ∑ H(Pt(Vi)) — 전체 엔트로피가 속성별 엔트로피 합으로 분해됨.
- Eq4(보상): rt = IG(At) = H(Pt(G)) - H(Pt+1(G)) — 질문 At 전후 엔트로피 차이.
- Eq5: 기대값이 상호정보량 I(At;G)와 같음.
- Eq6/Eq7(계산 가능형): rt = ∑_{Vi in V_Et} H(Pt(Vi)) — 이번 질문으로 밝혀진 속성들의 엔트로피 합.
차별점은 엔트로피 감소를 사후 선택(post-hoc selection)이 아니라 생성 정책 학습을 위한 실시간 내재 보상으로 쓴다는 점이다. 즉 고차원 공간에서 열린 자연어 질문을 생성하는 정책을 이 보상으로 훈련한다.
학습은 오프라인 정책 최적화다. 시뮬레이션으로 자동 선호 데이터 D_pref를 만든다. 데이터 큐레이션: 약 100만 장의 그림(arXiv/PMC) → CLIP 필터 → 29,000장 → Qwen-2.5-VL-72B → 8,000장 → PhD 학생 3명 수작업 검수 → 1,100장(1,000 train/prior, 100 test). Oracle 에이전트가 정답을 쥐고 있고 정보이득은 Eq7로 계산한다. 오프라인 GRPO(Eq8)에 z-정규화된 advantage와 KL 페널티(Eq9)를 쓴다. 근거는 질문하기 능력이 사전학습 LLM에 이미 내재하며, 정적 데이터셋이 온라인 학습의 오버헤드를 없앤다는 것이다. 베이스라인은 SFT, DPO, OnG(온라인 GRPO), 그리고 프롬프트 기반 GPT-5·Qwen3-235B(zero/few-shot 소크라테스)다.
결과 (Results)
학습된 모델은 더 적은 턴으로 더 많은 정보이득을 얻는다. Nous(OfG)는 20.3턴에 총 정보이득 120.5로 효율이 가장 좋고(Table 1), 주관 승률은 인간 판정 0.68·GPT-5 판정 0.69(Table 2), VisPainter 객관 점수 0.76(Table 3)을 기록한다. 프롬프트 기반 비학습 모델은 정보 병목을 보여 정보이득 곡선이 평평해진다. SFT는 턴 수는 가장 적지만(17.1턴) 정보이득이 가장 낮아(94.3) 성급하게 종료한다.
발견
- 정보이론적 보상(Nous-Entropy)이 없으면 성능이 급락한다: 단순 카운팅 보상은 13.6턴 / IG 97.11 / 0.76→0.63으로 떨어진다(Table 4).
- 사용자 전문성에 강건하다: 초보자(Zero-Start)는 17.3턴, 초안 제공(Draft-Start)은 7.6턴으로 줄지만 품질 0.74가 유지된다.
논의 (Discussion)
한계는 네 가지다. (1) 조건부 독립 가정이 속성 간 의존성을 놓칠 수 있다. (2) 검증이 주로 과학 다이어그램에 국한된다. (3) 파서가 Oracle의 템플릿화된 응답에 의존한다. (4) 데이터셋 1,100장은 소규모다. 향후 방향은 비구조적 창작 과제로 확장, 독립 가정 완화, 하이브리드 보상, 실제 협업 시스템 적용이다. 이론적 의의는 고전 정보이론과 LLM 학습을 잇고, 구조화된 속성 공간에 대한 엔트로피 감소를 내재 학습 신호로 삼은 데 있다.
Discussion Points
- 조건부 독립 가정을 완화하면 정보이득 계산이 여전히 다루기 쉬운가? (Eq3의 분해 가능성이 깨질 위험)
- 과학 다이어그램의 성공이 열린 창작 과제(구조가 명확하지 않은 도메인)로 이전될 수 있는가?
- Oracle 템플릿 응답에 의존하는 시뮬레이션이 실제 사람 응답의 노이즈를 얼마나 반영하는가?
실험 결과 상세
Table 1 — 효율성 (턴 수↓ / 총 정보이득↑ / 학습 시간(hours))
| 모델 | 턴 수 | 총 정보이득 | 시간(h) |
|---|---|---|---|
| Nous(OfG) | 20.3 | 120.5 | 28.5 |
| Nous(OnG) | 22.0 | 115.8 | 93 |
| Nous(DPO) | 21.5 | 111.3 | 15 |
| Nous(SFT) | 17.1 | 94.3 | 13 |
| GPT-5 few-shot | 22.6 | 93.5 | - |
| GPT-5 zero-shot | 26.5 | 84.8 | - |
| Qwen3 few-shot | 19.5 | 90.5 | - |
| Qwen3 zero-shot | 25.3 | 81.5 | - |
SFT는 턴 수는 최소지만 정보이득이 최저로 성급히 종료한다. 비학습 모델은 정보 병목(곡선 평탄화)을 보인다.
Table 2 — 주관 승률 (인간 판정 / GPT-5 판정) — 모델쌍당 400회 pairwise 판정, 신뢰구간 ±0.05
| 모델 | 인간 | GPT-5 |
|---|---|---|
| Nous(OfG) | 0.68 | 0.69 |
| Nous(OnG) | 0.69 | 0.63 |
| Nous(DPO) | 0.59 | 0.56 |
| Nous(SFT) | 0.49 | 0.42 |
| GPT-5 few-shot | 0.45 | 0.45 |
| GPT-5 zero-shot | 0.29 | 0.27 |
| Qwen3 few-shot | 0.36 | 0.35 |
| Qwen3 zero-shot | 0.23 | 0.24 |
Table 3 — 객관 평가 (VisPainter 가중 점수) — Precision/Recall/DesignErr/Blank/Readability/Alignment 차원
| 모델 | VisPainter 점수 |
|---|---|
| Nous(OfG) | 0.76 |
| Nous(OnG) | 0.77 |
| Nous(DPO) | 0.74 |
| Nous(SFT) | 0.72 |
| GPT-5 few-shot | 0.65 |
| GPT-5 zero-shot | 0.57 |
| Qwen3 few-shot | 0.67 |
| Qwen3 zero-shot | 0.57 |
Table 4 — Ablation 및 사용자 테스트
| 설정 | 턴 수 | 총 정보이득 | 점수 |
|---|---|---|---|
| Nous-Entropy (정보이론적 보상) | 20.3 | 120.53 | 0.76 |
| Nous-Counting (단순 카운팅 보상) | 13.6 | 97.11 | 0.63 |
정보이론적 보상이 핵심임을 보인다. 실제 사용자 10명 테스트: Zero-Start(초보 시작) 17.3턴, Draft-Start(초안 시작) 7.6턴이며 두 경우 모두 품질 0.74가 유지된다.
프레임워크 다이어그램
flowchart TD A["belief state Pt(G): 속성별 확률 분포"] --> B["질문 정책: 자연어 질문 At 생성"] B --> C["사용자/Oracle 답변"] C --> D["belief 갱신 Pt+1(G): P(Vi given Ht)"] D --> E["엔트로피 감소 보상 rt = H(Pt) - H(Pt+1)"] E --> F{"불확실성 충분히 감소?"} F -->|아니오| A F -->|예| G["최종 다이어그램 사양 G 확정"] E -.->|오프라인 GRPO 학습 신호| B
재현성 및 신뢰도 평가
- 코드 공개: 본문에 명시적 저장소 링크 없음(부록 A–K가 구현 세부를 참조). 데이터는 arXiv/PMC에서 필터링.
- 재현성 종합등급: B — 데이터 큐레이션 파이프라인(100만→29,000→8,000→1,100)과 수식(Eq1~Eq9), 하이퍼파라미터 근거가 상세하나, 공개 코드·모델 가중치가 확인되지 않고 Oracle 템플릿·파서 세부가 부록 의존이라 완전 재현에는 제약이 있다.
- 주장별 신뢰도:
- “정보이론적 보상이 핵심” — 높음: Table 4 ablation(0.76 vs 0.63)이 직접 뒷받침.
- “사용자 전문성에 강건” — 중간: 실제 사용자 10명이라는 소규모 표본에 근거(Zero-Start 17.3턴, Draft-Start 7.6턴, 품질 0.74).
- “GPT-5·Qwen3 대비 우위” — 중간
높음: Table 13에서 일관된 우위이나 프롬프트 베이스라인의 튜닝 여지가 남는다.
관련 연구 비교 매트릭스
| 연구 | 문제 | 접근 | Nous와의 차별점 |
|---|---|---|---|
| Nous (본 논문) | 의도 표현 격차 해소 | 엔트로피 감소를 내재 보상으로 하는 소크라테스식 질문 생성 | 고차원 공간에서 실시간 정보이득 보상으로 생성 정책 학습 |
| TOD (Task-Oriented Dialogue) | 슬롯 채우기형 과제 대화 | 고정 슬롯의 수렴적 검색 | 열린 자연어 질문·고차원 속성 공간 대신 고정 슬롯에 국한 |
| UoT (정보이득 기반) | 질문을 통한 불확실성 감소 | 시뮬레이션 기반 계획 | 35,000+ 조합의 고차원 공간에서 계획이 다루기 어려움(Nous는 Eq7로 계산 가능형) |
| 프롬프트 기반 명료화 | 지시 모호성 해소 | 고수준 의미 모호성 질문 | 구조적 제약이 아닌 의미 수준에 집중, 학습 신호 부재 |
원자적 인사이트 (Zettelkasten)
- 좋은 질문의 가치는 “답을 듣고 나서 남는 불확실성을 얼마나 줄이는가”로 정량화할 수 있으며, 이는 곧 엔트로피 감소(=정보이득)다.
- 속성 간 조건부 독립을 가정하면 전체 분포의 엔트로피가 속성별 엔트로피의 합으로 분해되어(Eq3), 고차원 공간에서도 보상 계산이 다루기 쉬워진다.
- 엔트로피 감소를 사후 선택 기준이 아니라 학습 중 실시간 내재 보상으로 쓰면, 인간 주석이나 외부 보상모델 없이 질문 생성 정책을 최적화할 수 있다.
- 질문 정책이 사용자 표현력의 부족을 메우면, 결과 품질이 사용자 전문성에 덜 의존하게 된다(초보 17.3턴 vs 초안 7.6턴, 품질 0.74 동일).
핵심 용어 정리
- intention expression gap: 머릿속 의도와 실제 지시 사이의 정보 손실.
- information gain(정보이득): 질문 전후 엔트로피 차이 H(Pt) - H(Pt+1).
- intrinsic reward(내재 보상): 외부 라벨 없이 과제 내부에서 계산하는 학습 신호.
- belief state(믿음 상태): 대화 이력으로 추정한 사용자 의도의 확률 분포 Pt(G).
- Oracle agent: 정답 사양을 쥐고 시뮬레이션에서 답을 제공하는 에이전트.
- offline GRPO: 정적 선호 데이터로 수행하는 오프라인 정책 최적화(z-정규화 advantage + KL 페널티).
- VisPainter: Precision/Recall/DesignErr/Blank/Readability/Alignment 등을 가중 합산한 객관 평가 지표.
관련 연구
- Multi2 - Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments — 상호작용형 LLM 에이전트의 다중 턴 의사결정이라는 공통 축을 공유하되, 방향이 다르다(Nous는 질문으로 사용자 의도를 유도, Multi2는 계층적 다중 에이전트 실행에 초점).
태그
논문 LLM에이전트 정보이론 소크라테스식질문 내재보상 의도표현격차
BibTeX
@article{sun2025nous,
title={Closing the Expression Gap in LLM Instructions via Socratic Questioning},
author={Sun, Jianwen and Feng, Yukang and Chang, Yifan and Li, Chuanhao and Li, Zizhen and Ai, Jiaxin and Zhang, Fanrui and Dai, Yu and Zhang, Kaipeng},
journal={arXiv preprint arXiv:2510.27410},
year={2025}
}