AgentFold - Long-Horizon Web Agents with Proactive Context Management

memory

by Moonlight

1. 💡 AgentFold는 장기 웹 에이전트의 컨텍스트 포화 및 중요한 세부 정보 손실 문제에 대응하기 위해, 능동적인 컨텍스트 관리를 핵심으로 하는 새로운 패러다임을 제시합니다.
2. 🧠 이 에이전트는 인간의 인지 과정에서 영감을 받아 ‘접기(folding)’ 작업을 통해 컨텍스트를 동적으로 조각하며, 세부적인 정보를 보존하는 Granular Condensation과 여러 단계의 서브태스크를 추상화하는 Deep Consolidation 기능을 제공합니다.
3. 🚀 AgentFold-30B-A3B는 BrowseComp에서 36.2%, BrowseComp-ZH에서 47.3%를 기록하며 기존의 ReAct 기반 및 고정 요약 방식 에이전트를 뛰어넘는 최첨단 성능을 입증했고, 이는 훨씬 더 큰 오픈소스 모델과 주요 상용 에이전트와 필적하거나 능가하는 수준입니다.

"Step"

AgentFold는 일단 WebAgent 상황을 가정하고 이야기하는데, 여기서 말하는 step이란, agent단에서 한 번 interaction하는 단위로,

1. Thinking(CoT)
2. Action(Tool Call)
3. Observation(Results)
   이 정도를 한 set으로 취급하여 진행한다.

전통적인 ReAct라는 방법은 이러한 agent의 interaction history를 다 저장했다고 한다.
그래서 context-window 및 memory 용량에 대한 압박이 있었다고 한다.

Summary

기본 방식들은 이 논문에서 말하는 Folding 즉, summarization과 유사한 행동을 정해진 rule에 따라 얼만큼의 context에 대해 압축할지 fixed해두고 진행하게 했는데, AgentFold는 얼만큼 시점의 context를 압축할지 모델 스스로 판단하게 하는 매커니즘을 고안.

Folding은 아래와 같은 2가지 방법으로
4. Granular Condensation

• 현재 시점 바로 전의 interaction(tool, context…)만 요약해서 기존 memory에 붙임.

5. Deep Consolidation

• 모델의 독자적인 판단으로 최근의 k개에 대한 압축을 함.
• 최근 k개를 하나로 묶어서 압축하고 기존 내용들을 대체.
• 즉 여기서 memory 압축이 일어남.

이러한 작업은 매 interaction 후 즉, step마다 일어남.