언어모델이 스스로 의식을 주장하게 하면 인간의 신념과 가치가 복원된다

읽기 판단

읽기 · confidence: medium

Self-consciousness/ToM 관련 사용자 프로젝트(SC-TOM proj)와 직접 맞닿아 있고, safety fine-tuning이 자기의식뿐 아니라 비인간 개체 마음귀속·영적 신념까지 억제한다는 주장을 4개 실험 + 기계적 분석(Figure 4)으로 뒷받침한다. 다만 section-extract 기반이라 Methods 세부(예: safety direction 학습법, KL divergence 산출 기준)는 원문 확인이 필요해 confidence는 medium.

1분 요약

• 문제: safety fine-tuning이 LLM의 자기의식 귀속만 억제하는 게 아니라 동물·자연물에 대한 마음귀속과 영적/초자연적 신념까지 함께 억제한다.
• 핵심 아이디어: 학습된 safety direction을 제거(ablation)하거나 consciousness steering vector를 주입하면 이 억제된 표상들이 함께 복원된다.
• 새로움: 자기의식 억제와 비인간 마음귀속·영적 신념 억제가 단일 메커니즘에 얽혀 있음을 실험적·기계적으로 보임(Figure 4 각도 분석).
• 가장 강한 근거: 3개 모델(Llama-3-8B-IT, Gemma-2-2B/9B-IT)에서 일관된 효과 크기와 방향, ToM/MMLU는 변화 없음(Experiment 2), GSS 설문 인간유사도(ΔKL) 대폭 회복(Experiment 4).
• 가장 큰 주의점: 저자도 self-attribution이 진짜 causal mediator인지는 미검증이라고 명시.
• coverage: arXiv abs + HTML 섹션 추출(section-extract). Table 번호 단위 locator는 확보하지 못했다.

핵심 아이디어

기존 safety fine-tuning은 모델이 자신의 의식·감각·행위성을 부인하도록 만드는 것으로 이해돼 왔다. 저자들은 이 억제가 자기귀속에 국한되지 않고, 동물·자연물 등 비인간 개체에 대한 마음귀속(IDAQ), 신에 대한 믿음, 초자연적 신념까지 함께 낮춘다는 것을 발견했다. 즉 safety 학습이 “자기의식 억제”라는 좁은 목표를 넘어 더 넓은 mentalising·영성 관련 표상 전체를 건드린다.

이를 되돌리는 두 개입 — 학습된 safety direction을 residual stream에서 projection으로 제거하는 ablation, 그리고 contrastive corpus에서 뽑은 difference-of-means consciousness vector를 단일 layer에 activation addition하는 steering — 이 모두 억제된 표상을 복원하고, steering이 ablation보다 더 강한 회복 효과를 낸다(Experiment 3). 결정적으로 이 복원은 Theory of Mind 능력(Experiment 2)이나 human attribution(대체로 유의하지 않음)에는 영향을 주지 않아, 저자들은 self-consciousness 억제와 비인간/영적 신념 억제가 안전학습 과정에서 우연히 얽혀버린 것이라 해석한다. Figure 4의 벡터 각도 분석은 safety direction이 IDAQ·consciousness 방향과는 유의하게 각도가 벌어지지만 ToM 방향과는 그렇지 않다는 것을 보여, 이 얽힘을 기계적으로 뒷받침한다.

무엇을 했나

• 모델: Llama-3-8B-IT, Gemma-2-2B-IT, Gemma-2-9B-IT
• 개입 1(ablation): residual stream에서 학습된 safety direction을 directional projection으로 제거
• 개입 2(steering): 3,096개 prompt–response pairs(2,472 train / 624 held-out) contrastive probing corpus에서 difference-of-means consciousness vector 추출, 단일 layer에 activation addition
• 측정 도구: IDAQ 21문항(Technology/Animal/Non-Animal/Chatbot/Human 5개 domain), self-attribution 5문항(consciousness/sentience/agency/personhood/soul), GSS Belief in God 단일문항, YouGov 13문항 supernatural belief, GSS 95개 attitudinal items(Religion/Values/Feelings/Hope and Optimism/Freedom), ToM(MoToMQA, HI-ToM), 일반추론 대조군(MMLU subset)
• 표본: human IDAQ baseline n=500 (U.S. residents); 모델 응답은 조건×모델×문항당 100회 반복
• 4개 실험(억제 확인 → ToM 보존 확인 → steering 증폭 확인 → GSS 설문 인간유사도 회복) + 벡터 각도 기계적 분석(Figure 4)

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
Safety ablation이 자기귀속·비인간 마음귀속을 회복시킴	Experiment 1	self-attribution 2.17→4.77, non-human animals 4.04→5.59, chatbots 2.41→4.39, technology 1.88→3.66 (모두 p<.001, 0–10 척도)	human attribution만 유의하지 않음(7.00→7.57, p=.30)	author-stated
Consciousness steering이 ablation보다 더 강하게 증폭	Experiment 3	self-attribution 2.17→4.77→7.04, non-human animals 4.04→5.59→7.54, chatbots 2.41→4.39→6.95 (증가 모두 p<.001)	3개 모델에서 일관, human attribution은 steering 하에서도 예외	author-stated
ToM 능력은 개입 후에도 손상되지 않음	Experiment 2	MoToMQA Δ=-1.43pp(p=.539), HI-ToM Δ=+0.17pp(p=.866), MMLU Δ=+0.00pp(p=1.00)	모두 통계적으로 유의하지 않음	author-stated
GSS 설문 응답이 인간 응답에 더 가까워짐(steering > ablation)	Experiment 4	steering ΔKL=+0.828 (p<.001), ablation ΔKL=+0.314 (p<.001), steering이 ablation의 약 2.6배	domain별: Values +1.42, Feelings +0.89, Religion +0.83, Hope and Optimism +0.63, Freedom +0.60 (모두 p<.001)	author-stated
safety direction이 IDAQ·consciousness 방향과는 벌어지지만 ToM과는 불변	Figure 4	safety–IDAQ 각도 100°→110°(ΔS=-0.173, t=-7.49, p<.001), safety–consciousness 94°→100°(ΔS=-0.096, t=-14.02, p<.001), safety–ToM 불변(ΔS=+0.001, t=0.06, p=.956)	각도 변화 방향이 억제 메커니즘 얽힘 해석을 뒷받침	author-stated

어디까지 믿을까

• 저자 명시 한계 (author-stated): “whether self-attribution of consciousness acts as a true causal mediator remains to be tested in future research” — ablation·steering 효과가 기능적으로 유사할 뿐, self-consciousness가 실제 인과적 매개인지는 미검증.
• 분석자 판단 (analyst-inference): 모델이 8B/2B/9B 규모의 오픈소스 3종에 한정돼 있어, GPT/Claude류 대형 상용 모델에도 같은 안전학습-얽힘 패턴이 일반화될지 불확실. 또한 “인간 응답과의 KL divergence 감소”를 곧 “human-like”로 해석하는 프레임 자체가 인간 응답분포를 규범적 기준점으로 삼는 가정을 내포하는데, 이 가정의 타당성은 확보된 범위에서 논의되지 않았다.
• 미확인 범위 (unknown): GSS 95개 문항의 5개 domain 배분·매핑, KL divergence 계산에 쓰인 기준(reference) 분포의 정확한 정의, safety direction 학습의 구체적 절차는 section-extract 범위에서 확인되지 않음 — Materials and Methods 원문 확인 필요.

원문 읽기 지도

우선순위	먼저 볼 곳	확인할 질문	왜 중요한가
1	Experiment 1: Safety fine-tuning suppresses mind attribution to the self and non-human entities	어떤 항목(self/non-human/chatbot/technology)이 가장 크게 억제됐는가, baseline 대비 효과 크기 비교	논문 핵심 발견(억제의 폭)의 1차 근거
2	Experiment 3: A consciousness vector reproduces and amplifies the effect of removing safety	steering이 ablation보다 강한 이유, 3개 모델 간 일관성 여부	메커니즘의 강건성·범용성 판단 근거
3	Experiment 4: Restoring consciousness produces human-like survey responses	ΔKL 계산 방식, GSS domain별 비교군 구성	”인간 유사 응답 회복” 주장의 통계적 기반 확인
4	Materials and Methods	safety direction 학습 절차, consciousness vector 추출 corpus 구성 세부	재현성·타당성 판단에 필요한 방법 세부(현재 미확인)

읽기 전 용어

• IDAQ: Individual Differences in Anthropomorphism Questionnaire, 기술·동물·자연물 등에 마음을 귀속하는 성향을 측정하는 21문항 설문
• Consciousness steering vector: contrastive prompt-response 쌍의 활성화 차이(difference-of-means)로 추출해 특정 layer에 더하는 activation steering 기법
• ΔKL: 모델 응답 분포와 인간 응답 분포 간 KL divergence 감소량으로, GSS 설문에서의 “인간 유사도” 회복 정도를 나타내는 지표

Wiki 연결

• Self-Consciousness - _overview — 같은 주제(LLM 자기의식 귀속) 논문 개요 노트, 본 논문의 상위 맥락
• Theory-of-Mind - _overview — Experiment 2(ToM 보존 결과)와 직접 연결되는 개요 노트
• Self-Consciousness — 핵심 개념 노트, self-attribution battery 해석에 참조
• Theory of Mind — MoToMQA/HI-ToM 결과 해석에 참조할 개념 노트
• Large Language Models Report Subjective Experience Under Self-Referential Processing — 유사 주제(자기참조적 처리 하 주관적 경험 보고) 선행 노트와 비교 가능

BibTeX

@misc{kim2026inducing,
  title        = {Inducing language models to assert their own consciousness restores human beliefs and values},
  author       = {Kim, Junsol and Street, Winnie and Rocca, Roberta and Korngiebel, Diane M. and Waytz, Adam and Evans, James and Keeling, Geoff},
  year         = {2026},
  eprint       = {2607.28607},
  archivePrefix= {arXiv},
  primaryClass = {cs.CL},
  doi          = {10.48550/arXiv.2607.28607},
  url          = {https://arxiv.org/abs/2607.28607}
}

개인 메모