WikiSkill: 에이전트 경험을 영속 지식으로 컴파일하는 skill 진화
읽기 판단
읽기 · confidence: high
5개 모델×5개 벤치마크에 걸친 일관된 성능 개선, wiki 접근 여부에 대한 ablation으로 인과관계를 확인, cross-model skill transfer라는 새로운 관찰까지 포함한 탄탄한 실증 연구다. Agent skill/메모리·지식 축적 시스템을 설계하는 독자에게 특히 유용하다.
1분 요약
- 문제: EvoSkill, Trace2Skill, SkillOpt 같은 기존 skill-evolution 방법은 학습 과정의 통찰을 skill 문서나 최적화 로그에 흩어놓아 이후 반복에서 체계적으로 재사용하지 못함.
- 핵심 아이디어: raw trace / persistent wiki / executable skill을 3개 계층으로 분리하고, wiki는 gating·rollback 대상이 아닌 채로 매 iteration 계속 누적되는 지식 베이스로 유지해 Skill Proposer가 이를 참조하게 함.
- 새로움: skill 자체와 별도로, 실패 원인·과거 제안 이력을 “wiki”라는 독립적이고 영속적인 지식 표현으로 축적하는 계층을 추가한 점(기존 baseline엔 이 계층이 없음).
- 가장 강한 근거: 최강 baseline 대비 5개 모델 평균 +3.3~+12.0점 개선(Table 1), wiki 접근 ablation에서 Skill Proposer의 wiki 접근만으로 평균 +15.0점(Table 3).
- 가장 큰 주의점: skill을 prompt에 직접 주입하는 방식만 평가(retrieval/triggering 미평가), 핵심 ablation은 Gemini-3.5-Flash 한 모델에서만 수행.
핵심 아이디어
기존 skill-evolution 방법들은 각자 방식으로 실행 궤적을 분석해 skill을 갱신하지만, “무엇을 배웠는가”를 skill과 별도의 독립적 표현으로 유지하지 않는다. 그 결과 통찰이 skill 문서 자체나 최적화 로그에 흩어져, 이후 반복에서 같은 실패를 반복하거나 이전 근거를 다시 발굴해야 하는 비용이 든다.
WikiSkill은 agent workspace를 raw/(불변 실행 trace) - wiki/(구조화된 패턴·evolution log·skill-impact 이력) - skills/(실행 가능한 절차) 3계층으로 나눈다. 핵심 설계는 wiki가 skill과 달리 gating/rollback의 영향을 받지 않고 매 iteration마다 계속 누적된다는 점이다.
루프는 4단계다. Inference Agent가 현재 skill set으로 롤아웃을 수행(이때 wiki 접근은 차단)하고, Wiki Maintainer가 그 trace를 분석해 wiki 패턴·로그를 갱신하며, Skill Proposer가 wiki index·skill-impact 이력을 보고 ReAct 방식으로 단일 skill에 대한 원자적 제안을 생성한다. 마지막으로 validation split에서 점수가 개선될 때만 채택하는 gating이 적용되지만, 채택 여부와 무관하게 wiki 자체는 항상 보존된다.
실패한 제안과 그 원인까지 skill-impact.md에 남으므로, 이후 iteration에서 동일한 실패를 반복하지 않고 누적된 근거 위에서 skill을 정교화할 수 있다는 것이 저자들의 핵심 통찰이다.
무엇을 했나
- 5개 벤치마크: LiveMathematicianBench(수학 추론), SealQA(웹 검색), SpreadsheetBench(스프레드시트 조작), OfficeQA(장문 문서 QA), ALFWorld(체화 상호작용).
- 5개 모델: Qwen-3.5-4B/9B, Qwen-3.6-27B, Gemma-4-31B-It(vLLM), Gemini-3.5-Flash.
- baseline: No-skill, Trace2Skill, EvoSkill, SkillOpt — 모두 동일한 rollout→분석→제안→gating 루프를 공유.
- 모든 방법은 빈 skill set에서 시작, 진화된 skill은 inference 시 prompt에 전량 주입(retrieval 방식 아님).
- 방법당 독립적 evolution을 3회 반복해 평균, paired bootstrap(1,000회 반복)으로 유의성 검정(§4.2.1).
- 추가 실험: cross-model skill transfer(Table 2), wiki 접근 유무 ablation(Table 3, Gemini-3.5-Flash 한정), skill·wiki 패턴 생성 통계(Table 4), ALFWorld 사례 연구(Figure 3).
핵심 근거
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | claim_origin |
|---|---|---|---|---|
| WikiSkill이 모든 모델에서 최강 경쟁 방법을 능가 | Table 1, §4.2.1 | 평균 성능 +3.3, +5.1, +10.0, +5.8, +12.0점(Qwen-4B/9B/27B, Gemma-31B, Gemini-3.5-Flash 순) | 각 값은 모델별 최강 competing baseline 대비 | author-stated |
| Skill evolution 효과는 모델 규모와 상호보완적 | §4.2.1 | Qwen family 개선폭 +12.3/+17.5/+23.9점(4B/9B/27B); Qwen-3.5-9B+WikiSkill(47.4%)이 Qwen-3.6-27B no-skill(39.4%)보다 우수 | Qwen family 내부 비교에 한정 | author-stated |
| 전이된 skill이 self-evolved skill보다 우수할 수 있음 | Table 2, §4.2.2 | Qwen-3.6-27B skill이 Qwen-3.5-9B의 SpreadSheet를 50.5%로 향상(no-skill 24.3%, self-evolved 33.6%) | 전이 성공 여부는 소스·타깃 모델 조합에 따라 달라짐 | author-stated |
| wiki access는 Inference Agent와 Skill Proposer에서 반대 효과 | Table 3, §5.1 | Skill Proposer만 wiki 접근 시 평균 48.7%→63.7%(+15.0점), LiveMath 51.3%→72.6%, SpreadSheet 49.9%→76.6%. 여기에 Inference Agent도 접근하면 63.7%→60.9%로 하락 | Gemini-3.5-Flash 한 모델에서만 수행된 ablation | author-stated |
| skill 내용의 성격이 전이 성패를 좌우 | §4.2.2 | Qwen-3.5-4B skill이 Gemini-3.5-Flash의 SpreadSheet를 50.5%→18.1%로 저하 | 저자는 원인을 소형 모델용 저수준 workaround(한 줄 Python 명령·문자열 변환 규칙)로 설명 | author-stated |
어디까지 믿을까
- 저자 명시 한계(
author-stated): (1) skill을 prompt에 직접 주입하는 방식만 평가해 retrieval/triggering은 다루지 않음. (2) validation gating이 “즉시 개선”만 채택해, 당장은 중립이나 이후 유익할 수 있는 제안이 배제됨. (3) wiki가 누적되기만 하고 자동 pruning 메커니즘이 없음. (4) 수백 스텝·수시간급 초장기 horizon task와 단일 rollout 내 online 적응은 평가하지 않음(Limitations). - 분석자 판단(
analyst-inference): wiki 접근 ablation(Table 3)이 Gemini-3.5-Flash 단일 모델이라 +15.0점 효과의 일반화 여부는 이 논문 근거만으로 단정하기 어렵다. SpreadSheet 음의 전이(50.5%→18.1%) 원인 설명도 소수 사례 기반 사후 해석이다. 코드 공개 언급이 없어 재현 경로는 Appendix 서술에 의존한다. - 미확인(
unknown): Wiki Maintainer·Skill Proposer 운용의 추가 API 호출·토큰 비용은 Appendix D.2(“Optimizer API Call Complexity”)에 있다고 명시되나 본 추출본에 본문이 없어 비용 대비 이득 판단은[위치 미확인]. Table 1~4의 개별 셀 값도 HTML flatten 한계로 본문 인용 수치 외에는 미확인.
원문 읽기 지도
| 우선순위 | 먼저 볼 곳 | 확인할 질문 | 왜 중요한가 |
|---|---|---|---|
| 1 | Table 1 + §4.2.1 | 내 모델·도메인 조합에서 no-skill/SOTA baseline 대비 이득이 어디서 작아지는가 | 적용 가능성 직접 판단 |
| 2 | Table 3 + §5.1 | Inference Agent와 Skill Proposer의 wiki 접근이 왜 반대 방향으로 작동하는가 | 아키텍처 설계에서 가장 핵심적인 근거 |
| 3 | §4.2.2 + Table 2 | 어떤 조건에서 skill이 전이되고 언제 음의 전이가 나는가 | 재사용 skill library 설계에 직결 |
| 4 | Appendix A(Algorithm 1), Appendix D | 구현에 필요한 알고리즘 세부와 baseline 대비 오버헤드 | 도입·재현 비용 판단 |
읽기 전 용어
- skill(agent skill):
SKILL.md에 담긴 파일시스템 기반 절차적 지식 모듈. 모델 파라미터를 건드리지 않고 재사용하는 지침·스크립트 묶음. - Wiki Layer / pattern: 실패모드·성공전략을 문서화한
wiki/patterns/하위 markdown 페이지 모음. skill과 달리 rollback 대상이 아니며 매 iteration 누적된다. - Gating & Rollback: 후보 skill을 validation split에서 평가해 개선될 때만 채택하고 아니면 직전 성공 상태로 되돌리는 메커니즘. wiki는 이 결정과 무관하게 보존된다.
Wiki 연결
- SkillOpt - Executive Strategy for Self-Evolving Agent Skills — 본 논문이 직접 비교한 baseline. 동일 루프를 쓰되 영속 지식 계층이 없다는 점이 대비점.
- VOYAGER - An Open-Ended Embodied Agent with Large Language Models — 실행 경험을 재사용 skill library로 축적한 선행 설계. wiki 계층 없이 skill만 누적하는 경우와 비교.
- Prime Agent - A Self-Improving RLM Harness — Continual Harness의 typed·versioned skill/memory refinement와 WikiSkill의 gating·wiki 분리를 나란히 볼 것.
BibTeX
@article{tang2026wikiskill,
title = {WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution},
author = {Tang, Liyan and Rashtchian, Cyrus and Ferng, Chun-Sung and Tomkins, Andrew and Juan, Da-Cheng and Vu, Tu},
journal = {arXiv preprint arXiv:2608.27454},
year = {2026},
url = {https://arxiv.org/abs/2608.27454}
}