SkillOpt: 자기 진화하는 에이전트 스킬을 위한 실행 전략

Digest: Context — 강력한 LLM 에이전트는 보통 모델 가중치를 동결(frozen, 파라미터를 더 학습시키지 않고 그대로 사용)한 채 호출하므로, 특정 도메인이나 작업에 적응시키려면 가중치 대신 스킬 문서(agent skill, 에이전트가 참조하는 자연어 지침서)를 손보는 수밖에 없는데, 이런 텍스트 편집은 보통 임시방편적이고 검증되지 않아 재현이 어렵다. Insight — 저자들은 이 스킬 문서를 단순한 프롬프트가 아니라 동결된 모델의 “훈련 가능한 외부 상태”로 재해석하고, 신경망 가중치 최적화를 안정시켜 온 딥러닝의 규율(유계 편집, 보류 검증, 거부 버퍼, 슬로우/메타 업데이트)을 텍스트 공간에 그대로 이식할 수 있음을 간파했다 — 즉 “텍스트도 경사하강법처럼 통제 가능하게 최적화할 수 있다”는 관점이다. Solution — SkillOpt는 별도의 옵티마이저 모델이 점수화된 롤아웃(rollout, 에이전트가 실제 문제를 풀어본 시도 기록)을 보고 한 번에 14개로 제한된(텍스트 학습률/편집 예산 L_t) add/delete/replace 편집을 제안하되, 보류 검증 게이트(held-out validation gate, 학습에 쓰지 않은 별도 문제 묶음의 점수가 엄격히 향상될 때만 수락)를 통과한 편집만 반영하고, 거절된 편집은 버퍼에 모아 재시도를 막는다. Evidence — 결과 배포물은 3002,000 토큰의 컴팩트한 best_skill.md 한 장으로 추론 비용 증가가 0이며, 모델 × 벤치마크 × 하네스 조합 52/52 셀 모두에서 최고 또는 동률 성능을 달성했다 — GPT-5.5 다이렉트 챗 +23.5점(58.8→82.3), Codex +24.8, Claude Code +19.1, 셀별 최강 베이스라인(oracle 76.9) 대비 +5.4점이다(Table 1). Limitation — 절제 실험에서 SpreadsheetBench의 슬로우/메타 업데이트를 제거하면 −22.5점으로 급락해(Table 3), 이 안정화 장치들이 결과를 떠받치는 핵심임이 드러나며 채택 편집이 중앙값 2.5개에 불과해 최적화가 좁은 영역에 집중된다. Open Question — cross-harness 전이(Codex에서 학습한 스킬을 Claude Code에 적용 시 +59.7점)가 강하게 나타난 점은 “스킬이 모델/하네스에 얼마나 독립적인 일반 지식을 담는가”라는 질문을 열어두며, 텍스트 공간 최적화가 가중치 미세조정을 어디까지 대체할 수 있는지는 미해결로 남는다.

섹션별 요약

Abstract

현재 에이전트 스킬(agent skill: 에이전트의 행동 지침 문서)은 수작업으로 제작되거나 일회성 생성, 혹은 느슨하게 통제된 자기 수정 방식으로 진화하며, 어떤 방식도 딥러닝 옵티마이저(optimizer: 학습 최적화 알고리즘)처럼 체계적으로 작동하지 않는다. 본 논문은 스킬을 동결된(frozen) 에이전트의 외부 상태로 간주하고, 가중치 공간(weight-space) 최적화를 재현 가능하게 만드는 것과 동일한 훈련 규율을 텍스트 공간에 적용해야 한다고 주장한다. SkillOpt는 별도의 옵티마이저 모델이 점수가 매겨진 롤아웃(rollout: 에이전트 실행 궤적)을 분석해 단일 스킬 문서에 제한된 추가/삭제/교체(add/delete/replace) 편집을 가하고, 보류 검증 게이트(held-out validation gate: 별도 검증 세트 기준의 수락 조건)를 통과한 편집만 반영하는 최초의 체계적·제어 가능한 텍스트 공간 스킬 옵티마이저다. 6개 벤치마크, 7개 대상 모델, 3가지 실행 하네스(harness: direct chat / Codex / Claude Code) 조합으로 구성된 52개 전체 (모델, 벤치마크, 하네스) 셀에서 SkillOpt는 최고 성능 또는 동률을 기록했으며, GPT-5.5 기준으로 스킬 미적용 대비 direct chat에서 평균 +23.5포인트, Codex 에이전틱 루프에서 +24.8포인트, Claude Code에서 +19.1포인트의 정확도 향상을 달성했다.

저자 contribution

에이전트 스킬 학습을 동결 모델의 외부 자연어 상태에 대한 최적화 문제로 공식화하여, 가중치 공간 훈련의 규율(경계 편집·검증 게이트·거부 편집 버퍼(rejected-edit buffer)·슬로우/메타 업데이트(slow/meta update))을 텍스트 공간에 이식하는 새로운 패러다임을 제시한다.
롤아웃 배치(rollout batch) 기반 점수 평가, 텍스트 학습률(textual learning rate: 편집 예산 L_t), 보류 검증 게이트, 거부 편집 버퍼, 에포크 단위 슬로우/메타 업데이트를 결합한 SkillOpt 옵티마이저를 구현하여 배포 시 추가 추론 비용 없이 안정적인 스킬 훈련을 실현한다.
6개 벤치마크 × 7개 모델 × 3개 하네스 = 52개 전체 셀에서 인간 제작, 일회성 LLM, Trace2Skill, TextGrad, GEPA, EvoSkill 등 모든 비교 대상 대비 최고 또는 동률 성능을 달성하고, 모델 규모 간·실행 환경 간·인접 벤치마크로의 전이(transfer) 실험을 통해 최적화된 스킬 아티팩트의 범용성을 검증한다.

왜 이 연구를 하는가?

프론티어 LLM 기반 에이전트에서 도메인 적응의 핵심 병목은 가중치가 아닌 에이전트의 절차(procedure) — 어떻게 도구를 쓰고, 어떤 순서로 추론하며, 실패 시 어떻게 회복하는가 — 로 이동했음에도, 이 절차를 담은 스킬 문서를 체계적으로 훈련하는 방법론은 존재하지 않았다. 기존 연구들은 궤적에서 스킬을 구성하거나 실패를 반영해 개선하지만, 배치 크기·학습률·검증 게이트·모멘텀에 해당하는 훈련 수준의 제어 장치를 갖추지 못했기 때문에, 연속된 편집이 너무 멀리 이동하거나 일관성 없는 방향으로 진행되어 최적화 이력 자체가 무의미해지는 문제가 있다. SkillOpt는 딥러닝 훈련 유비를 텍스트 공간에 작동적으로 이식함으로써, 클로즈드 모델과 오픈 모델 모두에서 가중치 변경 없이 이식 가능하고 검증된 스킬 문서를 안정적으로 생산하고자 한다.

Introduction

프론티어 LLM(대규모 언어 모델)이 에이전트(agent)로 배포되면서, 도메인 적응(domain adaptation)의 핵심 대상이 가중치(weights)나 프롬프트(prompt)를 넘어 에이전트가 증거를 수집하고 도구를 호출하며 출력을 형식화하는 절차(procedure) 그 자체로 확장되고 있다. ReAct, Toolformer, Voyager, SWE-agent 등 다단계 하네스(harness, 실행 환경) 위에서 동작하는 에이전트에서 이 절차는 스킬 문서(skill document) — 절차, 도메인 휴리스틱(heuristic), 도구 정책, 출력 제약, 실패 모드를 패키징한 이식 가능한 자연어 아티팩트 — 로 표현되며, 동결된(frozen) 에이전트가 외부 텍스트만으로 적응할 수 있는 인터페이스를 제공한다.

기존 접근법의 한계

한계	설명
가중치 적응 불가/비용 과다	클로즈드(closed) 프론티어 모델은 가중치 접근이 불가하고, 오픈 모델의 파인튜닝(fine-tuning)은 비용이 크다.
수작업·원샷(one-shot) 스킬의 취약성	인간이 직접 작성하거나 단 한 번의 생성으로 만들어진 스킬은 특정 도메인/하네스에서 쉽게 성능이 저하된다.
이전 시스템의 제어 가능한 최적화 부재	Trace2Skill, EvoSkill 등 기존 스킬 진화 시스템은 궤적(trajectory) 경험에서 스킬을 구성하거나 실패 분석으로 개선하지만, 배치(batch) 크기·학습률·검증 게이트 등 훈련 수준의 제어 장치를 갖추지 못했다.
프롬프트 최적화와의 차별 부족	GEPA, TextGrad 등 프롬프트 자동 튜닝(auto-tuning) 시스템은 언어 아티팩트를 최적화 가능한 대상으로 다루지만, 훈련·검증·내보내기·재사용이 가능한 지속적인 도메인 적응 스킬 최적화에는 초점을 두지 않는다.

핵심 통찰 — 핵심 질문: 스킬이 적응 계층(adaptation layer)이라면, 딥러닝 훈련과 동일한 규율(discipline)로 텍스트 공간에서 어떻게 최적화해야 하는가?

이 질문에 답하기 위해 저자들은 스킬 편집을 제어 가능한 도메인 적응 과정으로 형식화한다. 스킬 문서를 외부 상태(external state)로, 별도의 프론티어 옵티마이저(optimizer) 모델을 학습 주체로 설정하고, 딥러닝 훈련 방식의 제어 장치를 텍스트 공간에 그대로 도입한다. 이 유비(analogy)는 장식적이 아닌 **작동적(operational)**이다: 롤아웃 배치(rollout batch, 다수 궤적 샘플 묶음)가 그래디언트 노이즈 제어에 해당하고, 텍스트 학습률(textual learning rate, 한 버전이 이전 버전으로부터 움직이는 편집 폭)과 스케줄이 스텝 크기를 제어하며, 보류 분할(held-out gate, 미사용 검증 데이터로 편집 수락 여부 결정)이 검증 단계를 대신하고, 에포크(epoch) 단위 슬로/메타 업데이트(slow/meta update)가 안정적인 편집 방향을 누적하는 모멘텀(momentum) 역할을 한다. 거절된 편집(rejected-edit buffer)은 음성 피드백으로 보존되어 이후 최적화 이력을 구성한다.

SkillOpt는 이 원칙의 구현체다. 대상 도메인, 초기 스킬, 적응 대상 모델이 주어지면, 궤적 배치를 반복 샘플링하여 성공/실패를 분석하고, 프론티어 옵티마이저 모델이 add/delete/replace 구조화 편집을 제안하며, 텍스트 학습률 예산(budget) 아래에서 편집을 집계·순위화한 뒤 경계 있는(bounded) 업데이트를 적용한다. 보류 선택 분할로 후보 스킬을 검증한 뒤 수락하며, 최종 출력인 best_skill.md는 단 300–2,000 토큰의 컴팩트한 절차적 아티팩트다. 적응된 모델과 실행 하니스는 변경되지 않는다.

(§2 Related Work) 프롬프트 자동 튜닝·에이전트 구성 탐색 계열(GEPA, ABSTRAL, EvoTest)은 언어 아티팩트를 최적화 가능한 대상으로 다루지만 주로 프롬프트·시스템 설계·전체 구성을 겨냥할 뿐 재사용 가능한 도메인 적응에는 초점을 두지 않는다. 스킬 구성·진화 계열(SkillsBench, SoK, Trace2Skill, EvoSkill, SkillForge 등)은 평생 경험·궤적 교훈·스킬 지식베이스로부터 스킬을 구성하고 실패 분석·공진화·RL로 개선하지만 스킬 발견·저장소 성장·진화 탐색을 강조한다. 이에 비해 SkillOpt는 더 좁은 문제 — 궤적 배치·리플렉션 미니배치·텍스트 학습률·검증 게이트·거부 편집 버퍼·슬로우/메타 업데이트라는 딥러닝식 제어로 단일 컴팩트 도메인 스킬을 어떻게 훈련하는가 — 를 다루어, 가중치 변경 없이 이식 가능한 best_skill.md를 만드는 통제·감사 가능한 절차를 제시한다.

Methods

프레임워크 개요. SkillOpt은 자연어 스킬 문서(skill document)를 딥러닝 훈련 루프와 동형(isomorphic) 구조로 최적화한다. 타깃 모델 M은 완전히 동결(frozen)된 채로, 옵티마이저 모델 O가 전진-후진 패스(forward-backward pass)를 반복하며 best_skill.md라는 컴팩트한 자연어 정책 파일을 산출한다. 추론 시점에 추가 비용은 전혀 없고, 결과물은 타깃 모델·하네스(harness)·인접 벤치마크에 걸쳐 재사용 가능하다.

핵심 구성요소

문제 설정 및 데이터 분할 (§3.1): 스킬 s는 에이전트 컨텍스트에 삽입되는 자연어 정책이다. 직접-채팅 모드에서는 시스템/개발자 지시문 앞에 prepend되고, 도구-사용(tool-use) 하네스에서는 영구적 절차 메모리(procedural memory)가 된다. 학습 데이터는 세 분할로 관리된다: 롤아웃 경험 수집용 D_tr, 업데이트 게이팅(gating)용 D_sel, 최종 보고 전용 D_test. 옵티마이저 상태는 현재 스킬, 검증 게이트를 통과한 최우수 스킬, 스킬 해시 캐시, 에폭-로컬 거절 편집 버퍼, 선택적 슬로우/메타 업데이트 상태로 구성된다. 외부로 배포되는 파일은 best_skill.md 하나뿐이다.
전진 패스 — 롤아웃 증거 수집 (§3.2): 각 스텝에서 타깃 모델 M이 현재 스킬을 사용해 D_tr의 롤아웃 배치(기본 배치 크기 40)를 실행한다. 하네스는 태스크 메타데이터, 메시지·도구 호출·관측·명령 출력·최종 답변·검증기 피드백 및 벤치마크별 컨텍스트(스프레드시트 미리보기, 문서 참조, 실행 트레이스 등)를 기록한다. 어큐뮬레이션(accumulation) 모드를 지원하여, 여러 롤아웃 배치를 개별 반영(reflection) 후 하나의 업데이트로 병합함으로써 처리량과 업데이트 빈도를 분리할 수 있다.
후진 패스 — 미니배치 반영 (§3.3): 딥러닝의 역전파에 대응하는 단계로, 옵티마이저 모델 O가 수집된 트레이젝토리(trajectory)를 분석해 편집 제안(add/delete/replace)을 생성한다. 실패 트레이젝토리와 성공 트레이젝토리를 분리하고, 각각을 미니배치(기본 크기 8)로 분할한다. 단일 트레이젝토리는 사례별 수정에 그치지만, 미니배치는 재사용 가능한 절차적 오류(에이전트가 일관되게 잘못된 소스를 검색하거나 결과 검증을 누락하는 패턴)를 노출한다. 실패 미니배치는 누락·교정 규칙을 제안하고, 성공 미니배치는 작동하는 행동을 보존한다. 로컬 제안들은 계층적으로 병합되며, 실패 교정이 성공 보존보다 우선권(priority)을 갖는다. 16개의 병렬 분석 워커와 병합 배치 크기 8을 기본으로 사용한다.
경계 있는 텍스트 업데이트 — 편집 예산 L_t (§3.4): 딥러닝의 학습률(learning rate, LR)에 대응하는 개념이 편집 예산 L_t로, 한 스텝에서 적용 가능한 최대 편집 수를 제한한다. 집계된 편집 풀(pool)에서 기대 유용성 순으로 상위 L_t개만 추출·적용한다. 기본 설정은 L_t=4에서 시작해 코사인(cosine) 감쇠로 최소 L_t=2까지 줄어드는 스케줄이다(상수·선형·자율(autonomous) 스케줄도 지원). 이것이 임기응변식 프롬프트 재작성(ad hoc prompt rewriting)과의 핵심 차별점이다: 경계 없는 재작성은 유용한 규칙을 삭제하거나 상충하는 지시를 삽입하거나 국소적 실패에 과적합하는 반면, 유계 업데이트(bounded update)는 연속성을 보존하면서 새로운 절차를 점진적으로 획득한다. 편집은 패치 모드(localized append/insert/replace/delete) 또는 리라이트(rewrite) 모드로 적용되며, 스텝-수준 편집은 슬로우-업데이트 보호 필드를 덮어쓸 수 없다.
검증 게이트 및 거절 편집 버퍼 (§3.5): 후보 스킬은 반드시 D_sel에서 동결 모델 M으로 평가받아야 한다. 현재 선택 점수를 초과하면 현재 스킬로, 역대 최고 점수도 초과하면 best_skill.md로 승격된다. 개선이 없으면 거절된다(동점도 거절). 이 게이트가 SkillOpt를 무조건적 자기 편집이 아닌 제안-후-검증(propose-and-test) 최적화로 만드는 핵심 장치다. 표면적으로 그럴듯한 텍스트 진단도 실제 성능을 저하시킬 수 있기 때문이다. 거절된 업데이트는 버려지지 않는다: 옵티마이저는 에폭-로컬 버퍼에 관측된 실패 패턴, 시도된 편집, 유발된 점수 하락을 기록한다. 이후 동일 에폭 내 반영 호출은 이 버퍼를 참조하여 실패한 편집을 반복하지 않고 미해결 실패에 집중한다. 추론 시점 비용 없이 훈련 중 음성 피드백(negative feedback)을 활용하는 구조다.
에폭-단위 슬로우/메타 업데이트 (§3.6): 딥러닝의 모멘텀(momentum)에 대응한다. 에폭 종료 시, SkillOpt는 이전 에폭과 현재 에폭의 스킬 하에서 동일한 훈련 항목(기본 20개)에 대한 결과를 비교해 개선/회귀/지속 실패/안정 성공으로 분류한다. 옵티마이저 O는 이 종단적(longitudinal) 분석을 바탕으로 SLOW_UPDATE_START/END 마커로 구분되는 **보호 슬로우-업데이트 필드(protected slow-update field)**에 간결한 종단 지도 블록(longitudinal guidance block)을 기록한다. 이 후보도 D_sel 검증 게이트를 통과해야 한다. 별도로, **메타 스킬(META skill)**은 옵티마이저 사이드에만 존재하며 타깃 모델에는 전달되지 않는다. 메타 스킬은 어떤 편집 패턴이 유효했는지, 거절되었는지, 에폭 간 지속되었는지를 요약하여 이후 반영·병합·순위화 프롬프트에 prepend된다. 배포 스킬은 컴팩트하고 이식 가능하게 유지되면서, 훈련은 더 풍부한 누적 기록의 혜택을 받는다.
하네스-독립적 배포 인터페이스 (§3.7): 경량 어댑터(adapter) 인터페이스를 통해 동일한 옵티마이저가 직접 QA, 스프레드시트 실행, 문서 추론, 멀티모달 QA, 구현 환경(embodied environment), Codex/Claude-Code 스타일 실행 루프에 모두 적용된다. 어댑터는 훈련/평가 배치를 구성하고, 현재 스킬을 에이전트 컨텍스트에 주입하고, 네이티브 하네스를 실행한 후, 점수가 부여된 트레이젝토리를 반환한다. 핵심 실용적 이점: 강력한 옵티마이저 모델이 오프라인에서 재사용 가능한 스킬 아티팩트를 훈련하고, 그 결과물인 best_skill.md를 가중치 변경 없이 다양한 타깃 모델·하네스·인접 벤치마크에 배포·검증할 수 있다.

입력 → 출력 흐름. (1) 동결 타깃 모델 M과 초기 스킬 s0, 데이터 분할(D_tr/D_sel/D_test)을 입력으로 받아 옵티마이저를 초기화한다. (2) 각 스텝에서 D_tr의 롤아웃 배치(배치 크기 40)가 타깃 모델로 실행되어 점수 있는 트레이젝토리가 생성된다(전진 패스). (3) 이 트레이젝토리가 반영 미니배치(크기 8)로 분할되어 add/delete/replace 편집 제안이 생성된다(후진 패스). (4) 편집 제안은 계층적 병합 후 상위 ≤L_t개로 클리핑되어 후보 스킬에 적용된다(경계 업데이트). (5) 후보 스킬은 D_sel에서 평가되어 게이트를 통과하면 현재 스킬 또는 best_skill.md로 승격되고, 실패하면 거절 버퍼에 기록된다. (6) 에폭 종료 시 슬로우/메타 업데이트가 에폭 간 패턴을 학습한다. E 에폭(기본 4) 완료 후 best_skill.md를 D_test에서 최종 평가하여 반환한다(Algorithm 1). 출력 스킬 문서의 크기는 통상 300–2,000 토큰으로 컴팩트하게 유지된다.

기존 방법과의 차별점. 임기응변식 프롬프트 재작성 및 Reflexion, Self-Refine, GEPA 등 기존 반영 기반 접근법과 비교해 SkillOpt는 네 가지 핵심 메커니즘으로 차별화된다. 첫째, 편집 예산 L_t가 유계 업데이트를 강제하여 과적합과 유용한 규칙 소실을 방지한다. 둘째, D_sel 검증 게이트가 무조건적 자기 편집 대신 제안-후-검증 루프를 구현한다. 셋째, 거절 편집 버퍼가 추론 비용 없이 음성 피드백을 재활용한다. 넷째, 슬로우-업데이트 보호 필드와 옵티마이저-사이드 메타 스킬의 분리가 딥러닝의 모멘텀 효과를 텍스트 공간에서 실현하면서도 배포 스킬을 컴팩트하게 유지한다.

주요 하이퍼파라미터. 에폭 4(기본) · 롤아웃 배치 40 tasks/step · 반영 미니배치 8(병렬 분석 워커 16, 병합 배치 8) · 편집 예산 L_t=4 코사인 감쇠 하한 2 · 검증 게이트 strictly-greater(동점 거절) · 슬로우 업데이트 20 tasks/epoch · 패치(patch) 편집 모드 · 교사 반영 미니배치당 최대 3회 정제 · 타깃·옵티마이저 추론 노력 medium · 타이트-바운드 풀 예: LiveMath 35 train/epoch·롤아웃 배치 200, ALFWorld 39 train·140 sel·134 test. (split_seed=42)

발견 (Findings)

전 셀 우위: SkillOpt는 7개 모델 × 6개 벤치마크 × 3개 하네스(harness)로 구성된 52개 (모델, 벤치마크, 하네스) 셀 전부에서 최강 베이스라인 대비 동점 이상의 성능을 달성했다 (Table 1). GPT-5.5 직접 채팅 6벤치마크 평균은 58.8(no skill) → 82.3(SkillOpt)로 +23.5 향상되었으며, 셀별 최강 베이스라인 평균 76.9를 +5.4 초과한다.
절차형 벤치마크에서 최대 이득: GPT-5.5 기준 SpreadsheetBench 41.8→80.7(+38.9), OfficeQA 33.1→72.1(+39.0), LiveMath 37.6→66.9(+29.3) (Table 1). 소형 모델에서 상대 이득이 더 크며, GPT-5.4-nano의 경우 SpreadsheetBench ×2.6(9.3→23.9), ALFWorld ×2.0(34.3→69.4)이다.
극단적 편집 경제성 — 검증 게이트가 실질적 역할 수행: 최종 채택된 편집 횟수는 벤치마크당 1–4회(중앙값 2.5회)에 불과하다 (Table 6). LiveMath는 단 1회 편집으로 +29.3점, OfficeQA 역시 1회 편집으로 +39.0점을 달성했다. 대부분의 후보 편집은 검증 셀렉션 점수에서 기각되어 타깃 모델에 전달되지 않는다.
스킬의 교차 이전 가능성: 훈련 모델·하네스·벤치마크를 달리해도 이전된 스킬이 일관되게 양의 효과를 보인다 (Table 4). Codex→Claude Code SpreadsheetBench 전이 시 +59.7(22.1→81.8), 동일 벤치마크 역방향 전이 +43.6. 크로스-벤치마크(OlympiadBench→Omni-MATH)에서도 3개 스케일 전부 양의 전이(+1.3~+3.7).
성능 향상의 원동력: Table 3 컴포넌트 제거 실험에서 메타 스킬과 슬로우 업데이트를 동시에 제거하면 SpreadsheetBench가 77.5→55.0(−22.5pt)으로 급락한다. 학습률 바운드 제거 시 84.6/75.7/57.3으로 하락, 기각 버퍼 제거 시 SearchQA/SpreadsheetBench/LiveMath 기준 1.6/4.6/2.4pt 하락. 반면 롤아웃 배치 크기·LR 스케줄 등 세부 하이퍼파라미터에는 둔감하다.

Results

전체 셀 지배 (Table 1). SkillOpt는 7개 모델(GPT-5.5, GPT-5.4, GPT-5.4-mini, GPT-5.4-nano, GPT-5.2, Qwen3.5-4B, Qwen3.6-35B-A3B) × 6개 벤치마크(SearchQA, SpreadsheetBench, OfficeQA, DocVQA, LiveMathematicianBench, ALFWorld) × 3개 하네스로 구성된 52개 셀 모두에서 최강 베이스라인과 동점 이상을 기록했다. 베이스라인은 no skill, human skill(전문가 작성), one-shot LLM skill, Trace2Skill, TextGrad, GEPA, EvoSkill 총 7종이며, 동일 타깃 모델·테스트 셀렉션·스코어러 조건에서 비교했다.

GPT-5.5 직접 채팅 기준 6벤치마크 평균: no skill 58.8 → SkillOpt 82.3 (+23.5), 셀별 베이스라인 최강 오라클(oracle) 평균 76.9 대비 +5.4.

벤치마크 (GPT-5.5, direct chat)	No Skill	SkillOpt	변화
SearchQA	77.7	87.3	+9.6
SpreadsheetBench	41.8	80.7	+38.9
OfficeQA	33.1	72.1	+39.0
DocVQA	78.8	91.2	+12.4
LiveMath	37.6	66.9	+29.3
ALFWorld	83.6	95.5	+11.9

모델 스케일별 평균 향상 (6벤치마크 평균, 직접 채팅): GPT-5.4 +12.7, GPT-5.4-mini +15.4, GPT-5.4-nano +26.7, GPT-5.2 +16.6, Qwen3.5-4B +19.2, Qwen3.6-35B-A3B +9.1 (7모델 평균 ~+17.6). 소형·저성능 모델일수록 상대 이득이 크다 (Table 1).

Codex / Claude Code 하네스 (GPT-5.5, 5벤치마크 — ALFWorld는 지속형 구현 상호작용 미지원으로 제외): Codex 하네스에서 평균 no skill 대비 +24.8, 차순위 EvoSkill 대비 +14.0 (SpreadsheetBench 27.5→85.0, LiveMath 35.2→78.4). Claude Code 하네스에서 평균 +19.1(no skill 대비), EvoSkill 대비 +3.2 (SpreadsheetBench 22.1→80.4, LiveMath 40.8→90.1).

이득은 단순 프롬프트 길이 확장으로 설명되지 않는다(human skill은 이미 145–516 토큰으로 종종 one-shot LLM skill을 상회하지만 모든 직접-채팅 행에서 SkillOpt에 뒤진다, Table 6). 또한 옵티마이저 용량 의존성도 아니다(GPT-5.4-nano 단독 실행에서도 SkillOpt가 선두, Table 5).

Ablation (Table 2, 3; Figure 3; 타깃·옵티마이저 모두 GPT-5.5). 증거 규모: 훈련 파티션의 1→100%를 옵티마이저에 제공할수록 절차형 벤치마크 성능이 크게 오른다(SpreadsheetBench 47.5→78.0, LiveMath 59.1→70.5; SearchQA는 20% 이후 84–86 포화). 텍스트 학습률·스케줄: L_t=4에서 SearchQA/SpreadsheetBench/LiveMath 86.5/78.2/56.5, constant 87.3/80.7/62.1 vs cosine 87.1/77.5/61.3 vs linear 87.2/72.9/62.9로 스케줄에 둔감하지만, LR 바운드 자체를 제거(‘without lr’)하면 84.6/75.7/57.3으로 하락.

설정 (SearchQA / Spreadsheet / LiveMath)	SearchQA	SpreadsheetBench	LiveMath
전체(Full, lr=4)	87.1	77.5	61.3
dynamic lr	85.8	71.8	54.0
without lr	84.6	75.7	57.3
기각 버퍼 제거	85.5	72.9	58.9
메타 스킬 제거	85.1	75.7	58.1
슬로우·메타 모두 제거	86.3	55.0	59.7

슬로우 업데이트와 메타 스킬 동시 제거 시 SpreadsheetBench가 77.5→55.0(−22.5pt)으로 급락하는 것이 가장 큰 단일 컴포넌트 효과다(Table 3). 롤아웃 배치 크기(B=8→full epoch: 75.0–77.5)와 반영 미니배치 크기(B_m=1→32: SearchQA 85.9–87.1)에는 결과가 둔감하다. Figure 3에서 검증 체크포인트 점수가 에포크 전반에 걸쳐 held-out 테스트와 추적되어, 게이트가 일반화하는 스킬을 선별함을 시사한다.

전이 분석 (Table 4, 5). 크로스-모델: GPT-5.4 스킬 → mini/nano SpreadsheetBench +9.4/+3.0, LiveMath +4.5/+5.6 (모두 양의 전이; LiveMath GPT-5.4-nano 전이 28.8 > 도메인 내 27.2). 크로스-하네스: Codex→Claude Code SpreadsheetBench +59.7(22.1→81.8, 도메인 내 SkillOpt 80.4를 미세 초과), 역방향 +43.6(27.5→71.1). 전이 스킬은 구조-우선 검사, 수식 인식 검증, 정적 값 구체화 등 워크북 수준 절차를 인코딩한다. 크로스-벤치마크: OlympiadBench→Omni-MATH +3.7/+1.8/+1.3 (GPT-5.4/mini/nano) — 규모는 작지만 3개 스케일 전부 양의 방향. 옵티마이저 강도(Table 5): 강한 옵티마이저(GPT-5.5)가 타깃 매칭 옵티마이저 대비 모든 셀에서 절대 이득이 크나(GPT-5.4-nano SpreadsheetBench +19.0 vs +11.9), 타깃 매칭 옵티마이저도 56–74%를 회수 → SkillOpt는 강한 교사→약한 학생 증류 파이프라인이 아니며 최적화 루프 자체가 실질적 기여를 한다.

학습된 스킬의 경제성 (Table 6, Figure 4). 최종 best_skill.md는 379(LiveMath)–1,995(SpreadsheetBench) 토큰(중앙값 ~920), 채택 편집 1–4회(중앙값 2.5):

벤치마크	초기 토큰	최종 토큰	채택 편집	훈련 토큰	점수당 비용(토큰/pt)
SearchQA	16	857	4	213.8M	37.9M
SpreadsheetBench	224	1,995	4	21.4M	0.6M
OfficeQA	145	883	1	20.8M	1.1M
DocVQA	81	959	3	188.2M	46.4M
LiveMath	154	379	1	23.2M	3.6M
ALFWorld	516	1,321	2	59.3M	15.9M

LiveMath +29.3pt는 단 1회 편집, OfficeQA +39.0pt도 1회 편집에서 비롯되어 검증 게이트가 실질적 필터링을 함을 보인다. 비용은 훈련 시 1회 지불되며 배포된 best_skill.md는 추가 옵티마이저 호출·가중치 업데이트를 전혀 발생시키지 않는다. Figure 4의 학습 규칙 예시는 모두 절차적이며 인스턴스 특이적이지 않다(예: SpreadsheetBench — “워크북 구조·수식 검사 후 Excel 재계산 대신 평가된 정적 값을 전체 요청 범위에 작성”; LiveMath — “최강 명제 MCQ에서 정리 강도로 순위화, 참이나 약한 계론보다 근거 있는 강한 결과를 선호”).

정성적 진화 (§4.5). SkillOpt는 초기 스킬을 무관한 프롬프트로 교체하지 않고, 반복 실패 모드 주변에 컴팩트한 절차적 제약을 덧붙인다. ALFWorld(GPT-5.4-nano 학생/GPT-5.5 교사): 일반 가사 계획(search→pick→transform→place) → 정확한 객체명 매칭·방문 위치 메모리·목적지 메모리·pick-two 진행 잠금을 갖춘 유한상태 실행 정책으로 진화(49.3→74.6). SpreadsheetBench(GPT-5.5): 일반 자동화 워크플로 → 워크북-포렌식 정책(미리보기 대신 실제 워크북 검사, 헤더 위치 파악, 키·셀 타입 정규화, INDEX/MATCH·XLOOKUP 언급에도 평가된 정적 값 작성)으로 진화(40.4→78.9).

Discussion

SkillOpt는 외부 스킬 문서를 동결된 LLM 에이전트의 훈련 가능한 상태로 취급하는 텍스트 공간 최적화기다. 타깃 모델(task 실행)과 옵티마이저 모델(skill 편집)을 분리하고, 편집 예산 상한, 미니배치 반성, 보류 검증 게이트, 거부 편집 버퍼, 에포크 단위 슬로우/메타 업데이트를 결합함으로써 스킬 개선을 체계적 학습 과정으로 전환한다 — 기존의 임기응변식 프롬프트 수정과 근본적으로 구별된다. 6개 벤치마크·7개 타깃 모델·3개 실행 모드에 걸쳐 52/52 셀 최우수-또는-동률(+5.4 avg 마진), GPT-5.5 기준 direct chat +23.5, Codex/Claude Code +24.8/+19.1을 달성했다. 배포 산물은 1–4개 수락 편집으로 조립된 2,000 토큰 미만의 해석 가능한 best_skill.md이며 모델 규모·실행 환경·인접 벤치마크 전반에 걸쳐 이식성이 확인되었다. 결론적으로 간결한 자연어 스킬이 모델 가중치를 수정하지 않고도 프론티어 에이전트의 재사용 가능한 개선을 가능하게 하는 실용적 도메인 적응 계층으로 기능할 수 있음을 보인다.

이론적 의의

외부 상태로서의 스킬 재프레이밍: SkillOpt는 스킬 문서를 프롬프팅의 부산물이 아닌 독립적인 훈련 가능한 외부 상태로 재정의하여, 도메인 적응의 개념적 위상을 “프롬프트 편집”에서 “제어된 최적화”로 격상시킨다. 모델 가중치를 변경하지 않고도 딥러닝 수준의 최적화 규율을 에이전트 스택에 도입할 수 있다는 새로운 관점을 제시한다.
손으로 설계되던 계층에 재현 가능한 규율 부여: 지금까지 전문가 직관에 의존하던 스킬 계층에 편집 예산·검증 게이트·에포크 구조를 도입해 재현·감사 가능한 개선 프로세스를 부여함으로써, 학습률·스케줄·정규화·커리큘럼 등 최적화 도구 전체를 이 계층에 적용할 토대를 마련한다.
훈련-배포 비용 분리: 옵티마이저 모델의 계산 용량은 훈련 단계에서만 소비되며 배포 단계에서는 추론 비용 증가가 0인 간결한 best_skill.md만 남는다. 강력한 옵티마이저를 일시 활용해 경량 적응 산물을 만들고 여러 모델 규모·실행 환경에 이식하는 실용적 확장 경로를 연다.

Discussion Points

한계:
- 자동 검증기(exact-match, executable check 등) 의존성 — 성공 기준이 주관적인 개방형 도메인에서는 검증 게이트의 신뢰성이 낮아질 수 있다.
- 스킬 훈련에 수반되는 추가 롤아웃 및 옵티마이저 호출 비용 — 일회성 태스크 대비 재사용 빈도가 낮으면 비용 효율이 떨어진다.
- 단일 스킬 아키텍처의 표현 한계 — 이질적 절차를 많이 요구하는 도메인에서 단일 best_skill.md로는 다양성을 포괄하지 못할 수 있다.
- 분포 특화 휴리스틱의 전이 위험 — 훈련 분포 외 환경으로 스킬을 이전할 때 성능 저하 또는 부적절한 휴리스틱 일반화가 발생할 수 있다.
향후 방향: 도메인 간 인프라 공유 스킬 라이브러리 구축; 옵티마이저-사이드 메타 스킬의 벤치마크 간 재사용; 보상 없는/선호 기반 검증 게이트 개발; 최적화된 스킬의 가중치 역증류(self-distillation)를 통한 가중치 수준 적응 전환.
논쟁점 / 검증할 가정:
- DL 옵티마이저 아날로지(learning rate, schedule, regularization 등)가 검증 가능한 절차적 태스크를 넘어 개방형·창의적 도메인에서도 동일하게 성립하는가?
- 보류 검증 게이트가 진정한 정규화(regularizer)로 기능하는가, 아니면 단순 과적합 탐지 수단에 그치는가?
- 단일 스킬 아티팩트가 충분히 이질적인 도메인에서 단일 최적 해로 수렴하는가, 아니면 다중 스킬(mixture-of-experts) 구조가 필수적인가?
- 옵티마이저 모델의 능력 수준이 타깃 모델과 상이할 때 최적화 결과에 체계적 편향이 발생하는지 실험적으로 분리·검증할 필요가 있다.

실험 결과 상세

표 1. 주요 실험 결과 — 직접 채팅 (no-skill → SkillOpt, GPT-5.5)

Method	Dataset	Metric	Score	vs. Baseline
SkillOpt	SearchQA	Acc (%)	87.3	+9.6 vs. no-skill (77.7)
SkillOpt	SpreadsheetBench	Acc (%)	80.7	+38.9 vs. no-skill (41.8)
SkillOpt	OfficeQA	Acc (%)	72.1	+39.0 vs. no-skill (33.1)
SkillOpt	DocVQA	Acc (%)	91.2	+12.4 vs. no-skill (78.8)
SkillOpt	LiveMath	Acc (%)	66.9	+29.3 vs. no-skill (37.6)
SkillOpt	ALFWorld	Acc (%)	95.5	+11.9 vs. no-skill (83.6)
SkillOpt	6-bench 평균	Avg (%)	82.3	+23.5 vs. no-skill; +5.4 vs. oracle per-cell 최강 (76.9)

출처: Table 1 (직접 채팅, held-out test)

표 2. 하네스별 결과 (GPT-5.5)

Method	Harness	Dataset	Score	vs. Baseline
SkillOpt	Codex	SpreadsheetBench	85.0	+57.5 vs. no-skill (27.5); +14.0 vs. EvoSkill
SkillOpt	Codex	LiveMath	78.4	+43.2 vs. no-skill (35.2)
SkillOpt	Codex	5-bench 평균	—	+24.8 vs. no-skill; +14.0 vs. EvoSkill
SkillOpt	Claude Code	SpreadsheetBench	80.4	+58.3 vs. no-skill (22.1)
SkillOpt	Claude Code	LiveMath	90.1	+49.3 vs. no-skill (40.8)
SkillOpt	Claude Code	5-bench 평균	—	+19.1 vs. no-skill; +3.2 vs. EvoSkill

출처: Table 1 (Codex/Claude Code 하네스)

표 3. 구성요소 제거 실험 (Ablation, GPT-5.5) — SearchQA / SpreadsheetBench / LiveMath

설정	SearchQA	SpreadsheetBench	LiveMath
Full SkillOpt (lr=4)	87.1	77.5	61.3
w/o 학습률 예산(without lr)	84.6	75.7	57.3
w/o 거절 편집 버퍼	85.5	72.9	58.9
w/o 메타 스킬	85.1	75.7	58.1
w/o 슬로우+메타	86.3	55.0 (−22.5, 최대 하락)	59.7

출처: Table 3

표 4. 전이 실험 (Transfer)

유형	경로	Dataset	결과
Cross-model	GPT-5.4 → mini / nano	SpreadsheetBench	+9.4 / +3.0
Cross-model	GPT-5.4 → mini / nano	LiveMath	+4.5 / +5.6
Cross-harness	Codex → Claude Code	SpreadsheetBench	+59.7 (22.1→81.8)
Cross-harness	Claude Code → Codex	SpreadsheetBench	+43.6 (27.5→71.1)
Cross-benchmark	OlympiadBench → Omni-MATH	(GPT-5.4/mini/nano)	+3.7 / +1.8 / +1.3

출처: Table 4

프레임워크 다이어그램

flowchart TD
    A["입력: 현재 스킬 문서\nbest_skill.md"] --> B["순방향 패스\n목표 모델 M 롤아웃\n배치 40개, D_tr에서 샘플"]
    B --> C["궤적 스코어링\n점수 r in 0~1"]
    C --> D["역방향 패스\n최적화 모델 O\n실패/성공 궤적 분리"]
    D --> E["반성 미니배치 구성\n크기 8, 병렬 16 워커"]
    E --> F["편집 제안 생성\nadd / delete / replace"]
    F --> G["계층적 병합\n실패 우선순위 적용"]
    G --> H["유계 업데이트\n상위 L_t개 편집 적용\n기본값 4, 코사인 감쇠 하한 2"]
    H --> I["후보 스킬 생성"]
    I --> J{"검증 게이트\nD_sel 평가"}
    J -- "현재 점수 초과" --> K["현재 스킬 갱신"]
    J -- "최고 점수 초과" --> L["best_skill.md 저장"]
    J -- "개선 없음" --> M["거절된 편집 버퍼\n부정 피드백 및 실패 패턴 축적"]
    K --> N{"에포크 종료?"}
    L --> N
    M --> N
    N -- "아니오" --> B
    N -- "예" --> O["에포크별 느린 업데이트\nSLOW_UPDATE 필드 기록\n이전 vs 현재 스킬 20샘플 비교"]
    O --> P["메타 스킬 요약\n효과적 편집 패턴 분석\n최적화기 전용, 미배포"]
    P --> Q{"최종 에포크?"}
    Q -- "아니오" --> B
    Q -- "예" --> R["출력: compact best_skill.md\n300~2000 토큰"]

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	https://aka.ms/SkillOpt 공개. 프롬프트 계약 전문(analyst_error.md, analyst_success.md, merge_*, ranking.md, slow_update.md, meta_skill.md) Appendix C 수록. edit_apply_report.json 로그 포함.
데이터 공개	⚠️	SearchQA, DocVQA, ALFWorld 등은 공개 벤치마크. OfficeQA, LiveMath는 최신 벤치마크로 별도 접근 필요. 분할 시드(split_seed=42)·기본 2:1:7 비율 명시.
하이퍼파라미터	✅	에폭 4, 롤아웃 배치 40, 반영 미니배치 8, L_t=4 코사인 하한 2, 게이트 엄격 부등호, 슬로우 업데이트 20/epoch, 패치 모드, medium 추론, 교사 최대 3회 정제 — 전부 명시.
실험 환경	⚠️	프로토콜은 완전 명세. 그러나 GPT-5.5/5.4 계열(OpenAI)·Codex CLI·Claude Code CLI 등 독점 프론티어 모델 의존 → 버전 드리프트 시 동일 모델 재현 불가 위험.
통계적 신뢰도	⚠️	52개 셀 전수 보고로 커버리지 확보. 그러나 표준편차·신뢰구간·유의성 검정 미보고. 단일 시드.
종합 등급	B	프로토콜·하이퍼파라미터·프롬프트까지 투명도 높으나, 독점 모델 API 의존 및 일부 비공개 벤치마크로 외부 완전 재현에 제약. 통계 불확실성 지표 미제공이 A 달성을 저해.

주장별 신뢰도

🟢 GPT-5.5 oracle 대비 +5.4 (82.3 vs 76.9): Table 1에 no-skill→SkillOpt 및 oracle 76.9 명시, 6벤치마크 평균으로 산출 가능, oracle 구성(셀별 최강 베이스라인) 명세.
🟡 52/52 셀 최고-또는-동률: 7개 베이스라인 대비 수치 전부 제시(광범위 모델·하네스 커버)되나 독점 API 기반이라 제3자 검증 미완.
🟡 슬로우+메타 제거 시 SpreadsheetBench −22.5 (77.5→55.0): Table 3 직접 보고, 최대 낙폭이나 반복 실험 수·표준편차 미보고.
🟡 cross-harness Codex→Claude Code +59.7 (22.1→81.8): Table 4 명시, 재현에 두 독점 하네스 동시 접근 필요.

축	SkillOpt (본 논문)	Trace2Skill	EvoSkill	GEPA	TextGrad	SkillForge
(1) 최적화 대상	단일 스킬 문서 (300–2000 tok)	궤적 → 전이 가능 스킬	다중-에이전트용 스킬 폴더	시스템 프롬프트(태스크별)	프롬프트/설정 파라미터	도메인별 스킬 라이브러리
(2) 동결 모델 가정	✅ 완전 동결	✅	✅	✅	✅	✅
(3) 검증 게이트	✅ Held-out + 엄격 단조 증가 수락	❌	❌ (실패 분석 진화)	❌ (Pareto 반영 후 직접 적용)	❌ (그래디언트 직접 적용)	❌
(4) 학습률/편집 예산 제어	✅ 텍스트 학습률 L_t (코사인 스케줄)	❌	❌	❌	❌	❌
(5) 부정 피드백	✅ 거절-편집 버퍼	❌	❌	❌	❌	❌
(6) 전이 검증	✅ cross-model·harness·benchmark (52/52)	❌	❌	❌	❌	❌
(7) 코드 공개	공개 (aka.ms/SkillOpt)	불명	불명	공개	공개	불명

원자적 인사이트 (Zettelkasten)

💡 동결 모델의 스킬 문서는 “훈련 가능한 외부 상태”다

가중치를 건드릴 수 없는 동결 LLM 에이전트에서, 에이전트가 참조하는 자연어 스킬 문서는 단순 프롬프트가 아니라 가중치를 대체하는 최적화 대상으로 다룰 수 있다. 일단 텍스트를 “상태”로 보면 가중치 학습에서 검증된 안정화 기법(유계 편집·검증 게이트·거부 버퍼)을 그대로 텍스트 공간에 옮겨올 수 있다.

맥락: 모델 파라미터에 접근할 수 없거나 미세조정 비용이 금지적인 폐쇄형/API 에이전트 환경에서 성립.
연결: 프롬프트 최적화 · 테스트타임 학습 · 도메인 적응

💡 텍스트 최적화의 성패는 “편집을 제한하고 검증으로 거르는” 규율에 달려 있다

자유로운 텍스트 편집은 발산하기 쉽지만, 한 라운드당 편집을 1~4개로 묶고(편집 예산 L_t) 보류 검증 점수가 엄격히 향상될 때만 수락하면 통제 가능한 최적화가 된다. 절제 실험에서 슬로우/메타 업데이트를 빼자 SpreadsheetBench가 −22.5점 급락한 것은, 성능이 편집 자체가 아니라 그 편집을 받아들이는 게이트와 스케줄에서 나옴을 보여준다.

맥락: 학습용과 분리된 held-out 평가 세트가 반드시 있어야 게이트가 의미를 가진다.
연결: GEPA · TextGrad · Reflexion

💡 학습된 스킬은 하네스를 넘어 전이된다

한 실행 환경(harness)에서 최적화한 스킬 문서가 다른 환경으로도 강하게 전이된다 — Codex에서 학습한 스킬을 Claude Code에 적용했을 때 +59.7점이 관측됐다. 잘 정제된 스킬 문서가 특정 하네스의 표면적 관습이 아니라 작업 자체에 대한 이식 가능한 절차 지식을 담을 수 있음을 시사한다.

맥락: 전이 대상 하네스들이 동일 도메인 작업을 다룰 때 관측된 결과이며, 이질적 도메인 간 전이는 미검증.
연결: LLM 에이전트 · Voyager · 도메인 적응

핵심 용어 정리

용어	정의
에이전트 스킬(agent skill)	동결된 LLM 에이전트가 작업 수행 시 참조하는 자연어 지침 문서로, 가중치 대신 최적화되는 대상.
텍스트 공간 최적화(text-space optimization)	모델 파라미터가 아니라 자연어 텍스트(스킬·프롬프트)를 반복 편집해 성능을 끌어올리는 최적화 패러다임.
텍스트 학습률/편집 예산(L_t)	한 라운드당 허용되는 편집 개수의 상한(예: 1~4)으로, 가중치 학습률처럼 변화 폭을 제한해 발산을 막는 장치.
보류 검증 게이트(held-out validation gate)	학습에 쓰지 않은 별도 평가 세트의 점수가 엄격히 향상될 때만 편집을 수락하는 채택 관문.
거부 편집 버퍼(rejected-edit buffer)	검증 게이트를 통과하지 못한 편집을 모아 동일·유사 편집의 재시도를 억제하는 기억 장치.
에포크 단위 슬로우/메타 업데이트(slow/meta update)	매 롤아웃의 빠른 편집과 별도로 에포크 단위로 천천히 누적·메타 수준에서 반영하는 안정화 업데이트(모멘텀 유비).
하네스(harness)	에이전트를 실제로 구동·평가하는 실행 환경(direct chat, Codex, Claude Code 등).
롤아웃 배치(rollout batch)	에이전트가 문제들을 실제로 풀어본 시도 기록의 묶음으로, 편집 제안의 입력 근거.
리플렉션 미니배치(reflection minibatch)	롤아웃 일부를 골라 옵티마이저가 성찰·편집 제안에 사용하는 소규모 표본.
best_skill.md	최적화 종료 후 배포되는 300~2,000 토큰의 최종 스킬 문서로, 추론 비용 증가가 0인 결과물.
동결 모델(frozen model)	파라미터를 추가 학습시키지 않고 그대로 호출하는 LLM으로, 적응을 위해 외부 텍스트만 변경 가능한 설정.

BibTeX

@misc{yang2026skillopt,
  title={SkillOpt: Executive Strategy for Self-Evolving Agent Skills},
  author={Yang, Yifan and Gong, Ziyang and Huang, Weiquan and Yang, Qihao and Zhou, Ziwei and Huang, Zisu and Li, Yan and Gao, Xuemei and Dai, Qi and Liu, Bei and Qiu, Kai and Yang, Yuqing and Chen, Dongdong and Yang, Xue and Luo, Chong},
  journal={arXiv preprint arXiv:2605.23904},
  year={2026},
  url={https://arxiv.org/abs/2605.23904},
  eprint={2605.23904},
  archivePrefix={arXiv}
}

SkillOpt: 자기 진화하는 에이전트 스킬을 위한 실행 전략

SkillOpt: 자기 진화하는 에이전트 스킬을 위한 실행 전략

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

표 1. 주요 실험 결과 — 직접 채팅 (no-skill → SkillOpt, GPT-5.5)

표 2. 하네스별 결과 (GPT-5.5)

표 3. 구성요소 제거 실험 (Ablation, GPT-5.5) — SearchQA / SpreadsheetBench / LiveMath

표 4. 전이 실험 (Transfer)

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 동결 모델의 스킬 문서는 “훈련 가능한 외부 상태”다

💡 텍스트 최적화의 성패는 “편집을 제한하고 검증으로 거르는” 규율에 달려 있다

💡 학습된 스킬은 하네스를 넘어 전이된다

핵심 용어 정리

관련 연구

태그

BibTeX