AgentTuning - Enabling Generalized Agentabilities for LLMS

by Moonlight

1. 💡본 연구는 오픈 LLM의 일반 능력을 유지하면서 에이전트 능력을 강화하는 AgentTuning 방법을 제안합니다.
2. 📊AgentTuning은 6가지 다양한 에이전트 태스크에서 수집된 1,866개의 고품질 상호작용 궤적을 포함하는 AgentInstruct 데이터셋과 일반 도메인 지침을 혼합하는 하이브리드 인스트럭션 튜닝 전략을 활용합니다.
3. 🚀그 결과, AgentTuning으로 미세 조정된 AgentLM은 미공개 에이전트 태스크에서 GPT-3.5-turbo와 비견될 만한 성능을 보여주며, 일반적인 LLM 능력은 그대로 유지함을 입증했습니다.

Summary

SFT로 모델 파라미터 직접 수정.
CoT를 학습시키는 과정과 유사하다고 판단됨.

일반적인 CoT학습은 reasoning path 데이터를 만들고,
Question → thought → Answer 형태로 나오도록 SFT.
AgentTuning은 Action이 최종결과문이 되도록 학습.