by Moonlight
- ✨ MemGPT는 대규모 언어 모델(LLM)의 제한된 컨텍스트 윈도우 한계를 극복하기 위해 운영체제의 가상 메모리 관리 개념에서 영감을 받은 시스템입니다.
- 💾 이 시스템은 메인 컨텍스트와 외부 컨텍스트로 구성된 계층적 메모리 구조를 활용하며, LLM이 함수 호출을 통해 자체적으로 정보를 페이징하고 관리할 수 있도록 설계되었습니다.
- 🚀 실험을 통해 MemGPT는 긴 문서 분석과 다중 세션 대화에서 기존 LLM보다 월등한 성능을 보여, 장기적인 일관성과 정보 활용 능력을 크게 향상시켰습니다.
Summary
- agentic memory.
Input prompt를 세 파트로 분리하여 관리하고,
- system에는 persona 같은 정보를
- working context에는 작업 기억 같이 read/write하는 기능을 주고,
- FIFO queue에는 단기 기억처럼 자주 쓰는 내용들을 올려둠.
archival storage, recall storage는 덜 자주 사용하는 기억들을 축적해두었다가, LLM 판단 하에 필요하면 검색할 수 있는 DB처럼 사용.
- recall storage는 과거 대화 history 대부분을 가지고 있는 형태.
- archival은 대용량의 문서나 docs들을 포함해서 저장해둠.