From Generation to Selection: 유추 문제해결을 객관식으로 바꿨을 때의 발견

읽기 판단

훑기 · confidence: high

값어치는 MC-LARC라는 데이터셋보다 “LLM으로 오답 선택지를 만들면 어떤 shortcut이 생기는가”라는 방법론적 교훈에 있다. 벤치마크를 설계하거나 LLM으로 평가 문항을 합성하려는 사람은 Section 3의 제약 설계와 Table 4–5의 대조 실험만 봐도 핵심을 가져간다. 반대로 ARC를 푸는 방법을 찾는다면 줄 것이 없다. 평가 모델이 ChatGPT4V 하나뿐이고 인간 평가가 자기 연구실 학부 인턴 8명이라 절대 수치의 일반화는 기대하지 말 것.

1분 요약

문제: ARC는 Bloom’s Taxonomy의 Create 단계를 요구해 모든 인지 과정을 묶어 채점한다. 논리가 맞아도 격자 한 칸이 틀리면 오답이고, 어느 단계가 결함인지 짚을 수 없다 (Section 1).

핵심 아이디어: 평가를 generation에서 selection으로 바꾼다. LARC의 규칙 서술을 정답으로 삼고 GPT-4로 distractor 4개를 붙여 5지선다 400문항을 만들어 Understand·Apply를 분리 측정 (Section 3).

새로움: distractor를 무제한 생성하지 않고 in-context vocabulary·선택지 길이·도입 문구 형식 세 제약을 걸어 표면 단서를 억제하고, 효과를 단어 수·Jaccard·Levenshtein으로 계량 (Table 1–2).

가장 강한 근거: ARC 이미지를 주지 않아도 ChatGPT4V가 64.61 ± 2.17%를 맞힌다. 무작위 기대값 20%에 견주면 문항 텍스트만으로 절반 이상 풀린다 (Table 4).

가장 큰 주의점: self-feedback 후에도 43.75%로 20%와 거리가 멀고, 저자도 “약 40%는 이미지 없이 풀린다”고 인정한다 (Section 4.3, Section 7).

핵심 아이디어

ARC는 사전지식을 최소화해 추론만 재려 했지만, 그 대가로 진단 해상도를 잃었다. Bloom’s Taxonomy에서 Create는 하위 5단계를 모두 포괄하는 최상위다. “출력 격자를 직접 그려라”는 곧 Create 채점이고, 실패 시 규칙을 이해 못 한 것인지, 적용에 실패한 것인지, 픽셀 하나를 틀린 것인지 구분할 수 없다. Mini-ARC나 1D-ARC는 격자 크기·차원만 줄였을 뿐 여전히 생성을 채점한다 (Section 1, 2.2).

해법은 형식 교체다. LARC는 이미 400개 ARC training 과제에 “이미지 없이도 사람이 이해할 수 있는” language-complete 서술을 갖고 있다. 이를 정답 선택지로 쓰고 그럴듯한 오답 4개를 붙이면, 모델은 격자를 그릴 필요 없이 “어느 규칙 서술이 이 예시와 맞는가”만 고르면 된다. 생성 부담이 사라져 남는 것은 Understand와 Apply뿐이고, 어떤 오답을 골랐는지가 진단 신호가 된다 (Section 3).

정작 이 논문이 배운 것은 데이터셋이 아니라 함정이다. LLM에게 정답을 주고 오답을 만들라 하면 정답 문장이 나머지 넷과 공유하는 어휘의 허브가 된다. 그래서 모델은 이미지를 보지 않고도 “가장 반복되는 표현”을 고르고 “자기모순 선택지”를 지우는 것만으로 절반 넘게 맞힌다 (Figure 5, Table 4). 저자들은 프롬프트 제약으로 1차 방어를 하고, 그 위에 self-feedback을 얹는다. 명시적 제약을 더 걸지 않고 모델 자신의 shortcut 자백을 재료로 삼는 것이 요지다 (Section 4.3, Figure 7).

무엇을 했나

LARC 정제: 표현 불일치(‘brown’을 ‘dark red’로 서술)와 필수 정보 누락(대칭성 식별 등)을 전문가가 수작업 수정. 원인은 Amazon Mechanical Turk 비전문가 수집 (Section 3, Figure 2).
Distractor 생성: 정제된 서술을 근거로 ChatGPT4가 오답 4개 생성. 제약 3종 — in-context vocabulary(ARC 환경 설명 + 금지 단어), 정답과 유사한 길이, 도입 문구를 ‘To make the output, you have to…’로 통일 (Section 3, Figure 3).
정제 효과 계량: 단어 수 Incorrect 29.01 → 37.34(Correct 39.08), Jaccard 0.404 → 0.777, Levenshtein 0.439 → 0.129 (Table 1–2).
효능·신뢰도: 400문항을 ChatGPT4V에 5회 제시. KR-20 0.918/0.922, Cronbach’s α 0.917/0.921, ANOVA p 0.862/0.712 (이미지 유/무) (Section 4.1, Table 3). 제약 조합 6종별 재산출은 Appendix A, Table 9.
Shortcut 대조 실험: 이미지 제공 vs 미제공 각각 정확도 + 설명 요구 (Figure 6, Table 4).
Self-feedback: ① 이미지 없이 풀기 → ② 풀이 설명으로 shortcut 식별 → ③ 이미지·정답·선택지·설명을 모두 주고 선택지 재생성 (Figure 7, Table 5).
인간 평가: 연구실 학부 인턴 8명, 50문항씩 8세트 분할 (Section 5.2, Table 6–7).
레이블 유용성: program synthesis 과제에서 설명 소스를 No Description / Fast and Flexible / LARC / MC-LARC로 교체, 공통 20문제 10회 (Section 5.3, Table 8).

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
형식을 selection으로 바꾸면 성능이 급등	Section 4.1, Table 4	ARC 약 10%(Qiu et al. 2024) → MC-LARC 76.05 ± 1.34%	서로 다른 과제 형식의 정확도를 나란히 놓은 비교이며 동일 프로토콜 재측정이 아니다. 모델은 ChatGPT4V 단일	author-stated
LLM이 추론 대신 shortcut을 쓴다	Table 4, Figure 5	이미지 미제공 64.61 ± 2.17% (무작위 20.00%). 반복 표현 선택 + 자기모순 소거	LARC 서술이 language-complete라 텍스트만으로 규칙 추론이 가능한 경우와 분리되지 않았다	author-stated
Self-feedback이 shortcut을 줄인다	Section 4.3, Table 5	미제공 64.61 → 43.75 ± 1.55%. 제공 조건도 76.05 → 62.50 ± 2.32%	이미지 조건이 13.5%p 떨어진 것을 “난이도 상승”으로 해석하나, 정답 모호화 가능성과 구분되지 않는다	author-stated
MC-LARC는 신뢰도 높은 측정 도구	Section 4.1, Table 3	KR-20·Cronbach’s α 모두 0.9 초과, ANOVA p > 0.05	응답 일관성 지표이지 타당성 지표가 아니다. 일관되게 shortcut을 써도 α는 높다	analyst-inference
인간이 모델을 확실히 앞선다	Section 5.2, Table 6–7	인간 90.75 ± 2.85% vs ChatGPT4V 76.05%. 난이도 5에서는 인간도 60.00%	참가자 8명은 저자 연구실 인턴, 1인당 50문항. 개인 편차 72%~100%	author-stated

어디까지 믿을까

저자가 인정한 한계 (author-stated): self-feedback 후에도 약 40%가 이미지 없이 풀려 shortcut이 남아 있다. 선택지 품질을 잴 지표가 없어 분석이 LLM 정확도 하나에 머문다 (Section 7). 제약 조건 6종 간 신뢰도 차이도 통계적으로 유의하지 않았다 (Appendix A). MC-LARC는 ARC가 요구하는 패턴 인식·추상화를 직접 평가하지 않고 중간 단계 관찰이 목적이다 (Section 4.1).
분석자의 해석·우려 (analyst-inference): ① LARC의 설계 목표가 “이미지 없이도 이해 가능한 서술”인데, 그것으로 만든 객관식을 이미지 없이 푸는 것을 곧바로 shortcut으로 규정하는 것은 매끄럽지 않다. 진짜 shortcut과 정당한 텍스트 추론이 64.61% 안에 얼마씩인지 미분리다. ② 재생성 후 정답이 여전히 유일하게 옳은지 인간 재검증이 없다. ③ Table 8의 이득(LARC 13.0 → MC-LARC 14.5)은 표준편차 0.11~0.12를 감안하면 유의성 주장으로 보기 어렵고 검정도 없다. ④ MC-LARC는 ARC training 400문항 위에만 지어져 evaluation·test split 일반화가 미확인이다. ⑤ Appendix B의 t-test는 형식적 속성 shortcut 부재만 뒷받침하고, 본문이 지목한 의미 수준 shortcut은 잡지 못한다.
읽지 못한 범위 (unknown): Table 10의 구체적 통계량, distractor 생성 프롬프트 전문, 인간 난이도 판정 기준, ChatGPT4V의 정확한 버전·스냅샷 날짜.

원문 읽기 지도

읽는 목적	먼저 볼 곳	확인할 질문
객관식 문항 합성의 함정만 빠르게	Section 3 제약 3종 + Figure 5 + Table 4	정답이 어휘 허브가 되는 현상을 프롬프트 제약으로 막을 수 있나, 생성 절차를 바꿔야 하나?
형식 전환의 논거 판정	Section 1, 4.1, Table 3	높은 KR-20·α가 “추론을 재고 있다”의 증거인가, “일관되게 shortcut을 쓴다”와도 양립하는가?
Self-feedback 이식	Section 4.3, Figure 7, Table 5	3단계 중 어느 단계가 shortcut 감소에 기여했는지 ablation이 있는가?
MC-LARC를 학습 레이블로 재사용	Section 5.3, Table 8, Figure 8	Best/Moderate/Bad 선택지 분류가 자동화 가능한 기준인가, 사후 서술인가?

읽기 전 용어

LARC (Language-Complete ARC): ARC training 400문항에 입력 이미지 설명과 입출력 규칙 설명을 붙인 데이터셋. ‘language-complete’는 이미지 없이 설명만으로 과제를 이해할 수 있을 만큼 정보가 충분하다는 뜻 (Acquaviva et al. 2022).
Distractor: 객관식의 오답 선택지. 여기서는 정제된 LARC 정답 서술을 입력으로 ChatGPT4가 4개씩 생성하며, 얼마나 그럴듯한가가 곧 문항 품질이다 (Section 3).
KR-20 / Cronbach’s α: 검사의 내적 일관성 신뢰도 지표. 400문항 × 5회 응답이 얼마나 안정적으로 같은 능력을 재는지 판단한다 (Table 3).

Wiki 연결

ARC-AGI - Abstraction and Reasoning Corpus ⭐ — 재구성 대상인 원 벤치마크. Create 단계 채점의 진단 해상도 문제가 MC-LARC의 출발점이다.
Emergent Analogical Reasoning in Transformers — LLM 유추 추론을 어떤 형식으로 재야 하는지에 대한 대조 관점. “형식을 바꾸면 10%→76%“는 그런 주장의 형식 의존성을 되짚게 한다.
RACE - Large-scale ReAding Comprehension Dataset From Examinations — 시험 문항 기반 객관식 벤치마크의 선례. 선택지 표면 단서 shortcut은 이 계열의 공통 취약점이다.

BibTeX

@inproceedings{shin-etal-2024-generation,
    title     = "From Generation to Selection: Findings of Converting Analogical Problem-Solving into Multiple-Choice Questions",
    author    = "Shin, Donghyeon and Lee, Seungpil and Kova{\v{c}}ec, Klea Lena and Kim, Sundong",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
    month     = nov,
    year      = "2024",
    address   = "Miami, Florida, USA",
    publisher = "Association for Computational Linguistics",
    pages     = "6696--6708",
    doi       = "10.18653/v1/2024.findings-emnlp.392",
    url       = "https://aclanthology.org/2024.findings-emnlp.392/"
}