Introduction
- 자기인식(self-awareness): 자신을 주변 환경과 구별하는 능력으로, 지능적이고 자율적인 행동의 기반
- 멀티모달 LLM이 비인간 플랫폼(로봇)에서의 구현체 능력에 관심 증가
- 멀티모달 LLM이 감각운동 경험만으로 자기인식을 발달시킬 수 있는지 탐구
- 자율 이동 로봇에 멀티모달 LLM을 통합하여 테스트
- Embodied AI 및 로봇 인지 연구
- 멀티모달 대형 언어 모델 연구
- 자기인식 및 의식 연구
Methods
- 멀티모달 LLM을 자율 이동 로봇에 통합
- 환경 인식, 자기인식, 예측적 인식 테스트
- Structural Equation Modeling: 감각 통합이 자기인식의 다양한 차원에 미치는 영향 분석
- Ablation tests: 각 차원에 중요한 감각 모달리티 식별
Results
- 시스템이 강건한 환경 인식, 자기인식, 예측적 인식 시현
- 로봇의 본질과 운동 특성 추론 가능
- 감각 간 보상적 상호작용 발견
- 구조화된 에피소딕 메모리가 일관된 추론에 필수적
Discussion
- 적절한 감각 정보가 주어지면 멀티모달 LLM에서 자기인식이 창발
- 인공 구현체 인지 시스템의 가능성 제시
- 감각 통합과 메모리의 역할 강조
- 향후 연구: 더 복잡한 환경에서의 자기인식 검증