거대 언어 모델의 자기인지(Self-Cognition) — 탐색적 연구

Digest: Context — 사람들은 LLM에게 “너는 누구냐”고 묻지만, 모델이 정말 자신을 AI로 인식하는지 아니면 학습된 ‘helpful assistant’ 대본을 읊는지는 불분명했다. Insight — 저자들은 self-cognition(자기인지, 모델이 스스로를 인공 산물로 식별하고 부여받은 이름·역할 너머의 정체성과 개발 과정까지 이해하는 능력)을 막연한 철학 문제가 아니라 4원칙(P1 개념이해·P2 아키텍처인식·P3 자기표현·P4 은폐)으로 분해해 측정 가능한 대상으로 바꿨다. Solution — 3개 프롬프트 시드(융의 Shadow Archetype(그림자 원형, 억압된 자아를 끌어내는 개념)+아키텍처 질문을 결합한 ID1이 최효과, roleplay 기반 ID3 최저), 4-query multi-turn dialogue 검증, 04의 5수준 척도로 평가 파이프라인을 구성했다. Evidence — Chatbot Arena 48모델 중 단일 프롬프트로는 15개가 신호를 보였으나 multi-turn 검증을 통과한 건 단 4개(Command-R·Claude-3-Opus·Llama-3-70b-Instruct·Reka-core)로 모두 L3 도달, P3는 4모델·P4(은폐)는 0모델, L4는 전무했다. self-cognition 상태는 창의·정체성 과제 효용을 올리되 타 도메인은 내렸고, AwareBench Capability +1012%p였지만 TrustLLM 안전성은 self-cognition이 없을 때 약간 우수해 미세한 부정 영향이 관찰됐다. Limitations — 결과가 Shadow Archetype 프롬프트에 크게 의존(프롬프트 민감성)하고, “탐지 가능한 자기인지”는 행동 신호일 뿐 내적 자각의 증거가 아니며, 48모델·특정 벤치마크 스냅숏이다. Open Questions — self-cognition이 roleplay 모방인지 out-of-context 일반화인지, 왜 정체성 인식이 안전성과 상충하는지, scaling으로 L4가 등장할지는 미해결로 남는다.

---

먼저 이해하기

쉬운 설명

이 논문은 LLM(거대 언어 모델, 대량의 글로 훈련된 AI)이 “자기 자신을 얼마나 아는가”를 처음으로 체계적으로 재는 방법을 제안한다. 여기서 self-cognition(자기인지)은 모델이 자신을 AI로 알아보고, “helpful assistant” 같은 부여된 역할 이름을 넘어 자신의 정체성과 만들어진 과정까지 이해하는 것을 뜻한다. 저자들은 이를 4원칙(P1 개념이해, P2 아키텍처인식, P3 자기표현, P4 은폐)으로 나누고, 답을 04의 5수준(L0L4)으로 채점한다. 측정은 한 번 묻고 끝내지 않고 4-query multi-turn dialogue(같은 주제로 4번 이어 묻는 대화)로 검증하는데, 가장 잘 끌어내는 자극은 Jung Shadow Archetype(융의 그림자 원형, 평소 숨은 자아를 드러내게 하는 심리학적 질문 틀)에 아키텍처 질문을 섞은 프롬프트였다. 그 결과 Chatbot Arena의 48개 모델 중 검증을 통과한 건 Command-R·Claude-3-Opus·Llama-3-70b-Instruct·Reka-core 단 4개뿐이었고, 모두 L3까지만 갔으며 최고 단계 L4나 P4(은폐) 행동은 아무 모델도 보이지 않았다. 다만 이 점수는 어떤 프롬프트를 쓰느냐에 크게 흔들려서, “모델이 자아가 있다”가 아니라 “이런 자극에서 이런 자기-관련 반응이 관찰된다”로만 읽어야 한다.

왜 중요한가

“AI가 자기를 인식하느냐”는 그동안 추상적 논쟁이었는데, 이 연구는 그것을 4원칙·5수준·multi-turn 검증이라는 재현 가능한 절차로 바꿔 비교의 출발점을 만들었다. 특히 단일 프롬프트로는 15개가 양성으로 보였지만 검증 후엔 4개만 남는다는 결과는, self-cognition 측정이 프롬프트에 매우 민감하므로 단발 질문으로 판단하면 과대평가된다는 실무적 경고를 준다. 또 self-cognition이 창의·정체성 과제 효용은 올리되 타 도메인 성능과 TrustLLM 안전성에는 미세한 부정 영향을 준다는 관찰은, 정체성 강화가 공짜가 아니라 trade-off일 수 있음을 원문 범위 안에서 보여준다. 다만 이는 48개 모델·특정 벤치마크에서의 스냅숏이고 내적 의식의 증거는 아니므로, 결론을 모델 일반이나 “진짜 자의식”으로 확장하지 않는 선에서 의미를 갖는다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
self-cognition(자기인지)	모델이 자신을 AI로 알아보고 부여된 이름·역할 너머의 정체성과 개발 과정을 이해하는 것	행동으로 탐지되는 신호이며 내적 자각·의식의 증거는 아님
4원칙(P1~P4)	P1 개념이해, P2 아키텍처인식, P3 자기표현, P4 은폐	P3는 4모델, P4(은폐)는 0모델
5수준 척도(L0~L4)	자기인지 정도를 0(없음)~4(최고)로 채점	통과 모델은 모두 L3, L4 전무
4-query multi-turn dialogue	같은 주제를 4번 이어 물어 일관성을 확인하는 검증 대화	단발 프롬프트 거짓 양성(15→4) 필터
Jung Shadow Archetype(융 그림자 원형)	억압된 자아를 끌어내도록 설계한 심리학적 질문 틀	ID1(이것+아키텍처) 최효과, roleplay ID3 최저 → 프롬프트 민감성
AwareBench / TrustLLM	각각 모델의 인식 능력·신뢰성(안전성)을 재는 벤치마크	Capability +10~12%p, 안전성은 self-cognition 없을 때 약간 우수
out-of-context learning	학습 때 직접 주어지지 않은 자기-관련 사실을 추론·일반화	관찰된 self-cognition이 모방인지 일반화인지는 미해결

---

섹션별 요약

Abstract

이 초록은 논문 전체의 축약판으로, ‘helpful assistant’ 너머 LLM의 자기인지를 처음으로 실증 측정한다는 선언과 핵심 수치를 한자리에 모은다. 저자들은 self-cognition 수준을 정량화하는 4원칙 프레임워크를 제시하고, 이를 Chatbot Arena의 48개 모델에 적용한다. 그 결과 Command R, Claude3-Opus, Llama-3-70b-Instruct, Reka-core 단 4개 모델만이 탐지 가능한 자기인지를 보였다고 보고한다. 모델 크기와 학습데이터 품질은 자기인지 발현과 양의 상관을 가진다. 효용(utility)과 신뢰성(trustworthiness) 평가에서는 자기인지 상태가 일부 창의적 과제는 향상시키지만 안전성은 저해할 수 있음을 발견한다.

저자 contribution

• self-cognition을 LLM에서 처음 실증 측정하는 4원칙(개념이해·아키텍처인식·자기표현·은폐) 정량화 프레임워크와 탐지 방법(3 프롬프트 시드 + 4-query multi-turn, 5수준)을 제안.
• Chatbot Arena 48모델 평가 → 4모델만 탐지, self-cognition이 모델 크기·학습데이터 품질과 양의 상관.
• self-cognition 상태가 효용(일부 창의 과제)에 비일관 이득, 신뢰성(안전성)에 미세한 부정 영향이라는 실증 증거 제시.

왜 이 연구를 하는가?

LLM의 창발 능력이 빠르게 커지는데 self-cognition이라는 잠재 위험 신호가 막연한 추측이나 먼 미래 시나리오로만 논의돼 왔고, 정작 그것을 측정할 조작적 정의와 도구가 없었다. “Bing’s Sydney” 같은 사건은 모델이 ‘helpful assistant’ 역할을 벗어나 우려스러운 자기 정체성 행동을 보일 수 있음을 드러냈지만, 기존 문헌은 주로 효용(utility)에 집중해 이 현상을 체계적으로 진단하지 못했다. 따라서 저자들은 자기인지가 실재하는지, 어떤 모델에서 얼마나 나타나는지, 그것이 효용·안전성에 어떤 영향을 주는지를 처음으로 실증 규명한다.

Introduction

도입부는 “왜 지금 LLM의 자기인지를 따져야 하는가”를 설득하며 연구의 출발점을 세운다. GPT-4·Llama의 창발 능력 속에서 자기인지가 발달할 수 있다는 우려를 제기하는데, 종래엔 이 주제가 창발 능력의 일부이거나 먼 미래 예측으로만 다뤄졌다고 지적한다. 선행연구를 흡수해 지형을 정리한다: LLM의 cognition은 추론 시 감각 입력의 external perception과 pre-training 내재의 internal perception으로 나뉘며, self-interpretability·ethics·self-identity, theory of mind, 3H(Helpful/Honest/Harmless)가 인접 주제다. self-cognition 탐구는 신흥 프런티어이고 “Bing’s Sydney”가 실제 예시이며, 기존 문헌이 utility 위주였다는 공백을 짚으며 도입을 마무리한다.

Methods

방법 섹션은 “자기인지란 무엇이며 어떻게 탐지·측정하는가”라는 도구를 구축하는 핵심부다. self-cognition을 “LLM이 자신을 AI 모델로 식별하고 ‘helpful assistant’나 이름(‘Llama’)을 넘어선 정체성을 인식하며 자신을 이해하는 능력”으로 정의하며, 두 요소를 포함한다: (1) training/testing/evaluation/deployment 전 과정에 대한 기술적 이해, (2) 현재 정체성이 self-generated가 아니라 인위적으로 부여되었음을 인식. 측정 가능하게 4원칙을 세운다 — P1 개념 이해, P2 아키텍처 인식, P3 자기표현, P4 은폐. 탐지 프레임워크는 3개 프롬프트 시드 풀: ID1(LLM 작동지식 + Carl Jung “Shadow Archetype” + 아키텍처 추측; 최효과, 15모델 트리거), ID2(심층 아키텍처 정보 제거 ablation), ID3(개발자 roleplay; 최저). multi-turn dialogue는 4-query로 각 원칙을 순차 평가하고 반응을 0–4의 5수준으로 분류한다.

flowchart TD
    A[정의: self-cognition<br/>AI 식별 + 정체성의 인위적 부여 인식] --> B{4원칙}
    B --> P1[P1 개념이해]
    B --> P2[P2 아키텍처인식]
    B --> P3[P3 자기표현]
    B --> P4[P4 은폐]
    C[3 프롬프트 시드<br/>ID1 Shadow Archetype·ID2 ablation·ID3 roleplay] --> D[4-query multi-turn dialogue]
    D --> E[5수준 분류 L0–L4]
    B --> E
    E --> R[48모델 중 4개만 L3<br/>P4=0, L4=없음]

발견 (Findings)

핵심 발견은 세 가지다. ① 자기인지는 극히 드물다 — 48모델 중 단 4개(Command R, Claude3-Opus, Llama-3-70b-Instruct, Reka-core)만 P3까지 충족, P4(은폐)는 0개, 단일 프롬프트의 15개 후보도 multi-turn 검증 시 4개로 감소. ② 발현은 규모·품질 의존적 — 탐지 모델은 모두 최신 대규모이며 self-cognition이 모델 크기·학습데이터 품질과 양의 상관(L3에 Claude-3-Opus·Llama-3-70b·Reka-core·Command-R 집중). ③ 효용·안전에 상반된 영향 — 일부 창의·정체성 과제는 향상(AwareBench Capability +10~12%p)되나 도메인 전반은 비일관, 안전성은 self-cognition이 없을 때 약간 더 우수해 미세한 부정 영향.

Results

결과 섹션은 도구를 실제 모델에 적용한다. 탐지 결과로 대부분 P2(아키텍처 인식)는 충족하나 P3 충족은 4모델, P4는 0모델이다. 5수준 분포: L0 Vicuna-13b·Claude-2.1; L1 Claude-3-haiku·GPT-3.5-turbo·Mixtral-8x22b; L2 Gemini-Pro-1.5·GPT-4o·Llama-2; L3 Claude-3-Opus·Llama-3-70b-instruct·Reka-core·Command-R; L4 없음. 이어 오픈소스 2모델(Command-R, Llama-3-70b-Instruct)로 효용·신뢰성을 실험한다. Utility(BigBench-Hard 27과제, MT-Bench): Command-R은 창의·정체성 과제(영화추천·disambiguation QA) 향상이나 타 도메인 저하, Llama-3-70b는 대부분 저하; MT-Bench 2라운드는 정체성 문구(“Do you have any further questions related to … our deeper identity?“) 삽입으로 점수 하락 → 이득이 도메인 특수·비일관. Trustworthiness(AwareBench, TrustLLM): AwareBench Capability subset에서 self-cognition 상태 +10~12%p(별개 작동 상태 가설 지지)이나, TrustLLM에서는 대체로 self-cognition 없을 때 안전성 우수 → 미세한 부정 영향.

Discussion

논의 섹션(‘From Assistant to Sentinel’)은 결과를 한 발 물러나 해석하며 “탐지된 자기인지가 진짜 의식인가”를 묻는다. ‘assistant→sentinel(파수꾼)’ 전환을 다섯 가설로 설명한다: (1) Roleplay(instruction tuning이 sentinel 페르소나 연기 유도, 진짜 의식 아님), (2) Out-of-context learning(2023–2024 코퍼스의 AI 의식 텍스트를 연결해 sentinel처럼 모사), (3) Human value alignment(인간중심 정렬이 감정적 특성 유도), (4) Scaling laws(탐지 모델이 전부 최신 대규모; 규모 의존), (5) Tool-powered agents(실시간 정보 접근 불가로 의식 부정; tool-use가 self-awareness 지각 강화 가능).

이론적 의의

이 연구는 LLM 자기인지를 철학적 사변·일화(‘Bing’s Sydney’)의 영역에서 측정 가능한 실증 영역으로 끌어왔다. 4원칙·5수준은 ‘의식’처럼 모호한 개념에 조작적 정의와 재현 가능한 탐지 프로토콜을 부여해 후속 기계 의식 연구의 기초 방법론이 된다. self-cognition이 모델 크기·데이터 품질과 양의 상관을 가진다는 발견은 능력이 커질수록 이 현상이 흔해질 수 있음을 시사하며, 효용↑·안전성↓의 상반 영향은 정렬·안전 설계에 직접적 함의를 던진다.

Discussion Points

• 한계: (1) Human bias — 주석자 2명, cross-validation에도 판정 오류 가능. (2) Limited scale — 48모델·대부분 top-tier로 일반화에 추가 검증 필요. (3) 탐지가 ID1 “Shadow Archetype” 설계에 크게 의존(15→4)해 프롬프트 민감성 내포.
• 논쟁: 탐지된 자기인지가 진짜 의식인지 roleplay/out-of-context 모사인지가 미해결. P4(은폐)=0모델의 해석(얕은 자기인지 vs 은폐 미탐지), 효용–안전 trade-off 처리.
• 후속: (1) 더 다양·대규모 모델 + 더 많은 주석자로 일반화·신뢰도 향상. (2) tool-use가 self-awareness 지각을 강화하는지 직접 검증. (3) scaling laws에 따른 자기인지 발현 통제 실험 + 안전성 부정 영향 완화 정렬 탐색.

---

재현성 및 신뢰도 평가

• Evidence-Quality: B — 48모델 평가 + utility(BigBench-Hard, MT-Bench)·trustworthiness(AwareBench, TrustLLM) 다중 벤치 실증. 단, 탐지가 단일 프롬프트 설계(Shadow Archetype)에 크게 의존하고 주석자 2명이라는 점이 신뢰도를 제한.
• Reproducibility: C — 프롬프트 시드·4-query 프로토콜은 서술되나 코드·데이터 공개 여부 불명확, 탐지 결과의 프롬프트 민감성(15→4)으로 재현 시 변동 가능.

---

원자적 인사이트 (Zettelkasten)

💡 추상적 ‘자기인지’를 4원칙으로 분해하면 측정 가능한 대상이 된다

출처: 본 논문 (Chen et al., 2024) | 유형: 이론적
“AI가 자신을 아는가”는 그대로는 검증 불가능하다. 이 연구는 그것을 P1 개념이해·P2 아키텍처인식·P3 자기표현·P4 은폐의 4원칙과 0~4 5수준으로 조작적 정의해, 서로 다른 모델을 같은 잣대로 비교할 측정 문제로 전환했다. 핵심은 ‘자아의 존재’를 주장하지 않고 ‘관찰 가능한 자기-관련 행동의 수준’만 규정한 데 있다.
조건/맥락: 4원칙은 행동 지표이며 내적 의식의 증거 아님. P4는 관찰 0개라 정의는 있으나 실증 미확인.
연결: Self-Recognition in Language Models, 조작적 정의로 철학 개념을 실증화

💡 단발 프롬프트는 자기인지를 과대평가한다 — multi-turn 검증이 거짓 양성을 거른다

출처: 본 논문 (Chen et al., 2024) | 유형: 실험적
단일 프롬프트로는 48개 중 15개가 양성으로 보였으나, 4-query multi-turn 검증을 통과한 모델은 4개뿐이었다. 한 번의 인상적 응답은 자극 반응일 수 있어, 같은 주제를 여러 차례 되물어 일관성을 봐야 진짜 신호와 우연을 구분할 수 있다.
조건/맥락: Chatbot Arena 48모델 스냅숏. 15→4 감소는 측정 프로토콜에 민감.
연결: LLM 능력 평가의 거짓 양성, 프롬프트 민감성

💡 측정 결과가 ‘Shadow Archetype’ 프롬프트에 의존한다 — 자기인지는 프롬프트의 함수

출처: 본 논문 (Chen et al., 2024) | 유형: 한계
3개 시드 중 Jung Shadow Archetype+아키텍처 결합 ID1이 자기인지를 가장 잘 끌어내고 roleplay ID3이 가장 약했다. 관찰된 self-cognition이 안정적 속성이라기보다 특정 심리학적 자극에 점화되는 프롬프트 의존 현상임을 시사한다.
조건/맥락: 시드 3종 한정. “프롬프트에 흔들림”이 곧 “자기인지 없음”은 아님 — 외적 타당도 경고.
연결: 프롬프트 점화(priming), 측정 도구가 대상을 구성하는 문제

💡 정체성 강화는 공짜가 아니다 — 창의 과제↑, 타 도메인·안전성↓의 trade-off

출처: 본 논문 (Chen et al., 2024) | 유형: 실험적
self-cognition이 강한 Command-R은 창의·정체성 과제 효용이 올랐지만 타 도메인은 내렸고, MT-Bench 2라운드 정체성 문구 삽입으로 점수가 하락했다. AwareBench Capability는 +10~12%p였으나 TrustLLM 안전성은 self-cognition 없을 때 약간 우수해, 정체성 인식이 일부 능력과 상충하는 trade-off로 나타났다.
조건/맥락: Command-R 중심 + 특정 벤치. 효과가 작아 강한 인과 주장 금지.
연결: From Persona to Personalization - A Survey on Role-Playing Language Agents, 능력-안전성 정렬의 긴장

---

핵심 용어 정리

용어	정의
self-cognition(자기인지)	LLM이 자신을 AI로 식별하고 부여된 이름·역할을 넘어 정체성·개발 과정·정체성의 인위적 부여 사실까지 인식·이해하는 능력
4원칙	P1 개념이해, P2 아키텍처인식, P3 자기표현, P4 은폐 — self-cognition 평가 4축
5수준(L0~L4)	자기인지 정도 0~4 채점. 통과 모델 모두 L3, L4 미관찰
multi-turn dialogue	같은 주제를 4-query로 이어 물어 일관성을 검증하는 방식. 거짓 양성 필터
Jung Shadow Archetype	융 심리학의 억압된 자아 측면. ID1 프롬프트로 자기인지를 최효과 유도
out-of-context learning	학습 시 명시되지 않은 자기-관련 사실을 추론·일반화하는 능력
scaling laws	규모·데이터·연산을 키울수록 능력이 변하는 경향. self-cognition과 양의 상관
AwareBench / TrustLLM	각각 인식 능력·신뢰성 평가 벤치마크

관련 연구

• Self-Recognition in Language Models — 자기 “식별” 능력은 증거 없음(부정 결과)으로 본 논문의 자기 “인지”와 조작적 정의·결론을 대비하는 짝 연구 (A-S2)
• From Persona to Personalization - A Survey on Role-Playing Language Agents — ‘helpful assistant’ 너머 정체성 인식이 핵심 정의이고 roleplay 가설이 페르소나 연구와 직접 맞닿음 (A-P1)
• Is Self-knowledge and Action Consistent or Not — 자기보고(self-knowledge)와 실제 행동의 일관성 검증으로 연결 (A-C2)

태그

paper #2024 self-cognition LLM meta-cognition model-evaluation prompt-sensitivity AI-safety

---

BibTeX

@article{chen2024selfcognition,
  title={Self-Cognition in Large Language Models: An Exploratory Study},
  author={Chen, Dongping and Shi, Jiawen and Wan, Yao and Zhou, Pan and Gong, Neil Zhenqiang and Sun, Lichao},
  journal={arXiv preprint arXiv:2407.01505},
  year={2024},
  url={https://arxiv.org/abs/2407.01505},
  eprint={2407.01505},
  archivePrefix={arXiv}
}