LLM 기반 에이전트를 위한 플랜 재사용 메커니즘

Digest: LLM을 코어로 사용하는 에이전트 시스템은 사용자 요청마다 수십 초의 플래닝 지연(plan generation latency)을 감내해야 하며, 이는 실사용 환경에서의 심각한 병목이다. 저자들은 실제 트래픽의 약 30%에 달하는 요청이 의미적으로 동일하거나 유사하다는 관찰(Context)에서 출발하여, 자연어의 표현 다양성과 비정형 플랜 포맷 때문에 단순 텍스트 비교로는 플랜 재사용이 어렵다는 문제(Issue)를 제기한다. 이를 해결하기 위해 의도 분류(intent classification)를 이용해 요청 간 의미적 유사도를 평가하고, 유사한 요청이 들어오면 기존에 생성된 플랜을 재사용하는 AgentReuse 프레임워크를 설계(Solution)한다. 실험(Evaluation)에서 AgentReuse는 유사도 평가에서 F1 0.9718, 정확도 0.9459, 플랜 재사용 성공률 93%를 달성하며, 재사용 미적용 대비 93.12%의 지연시간 절감을 보인다. 이 결과는 LLM 에이전트에 전통적인 캐싱 개념을 의도 수준에서 도입하는 것이 실용적 경로임을 시사하며(Learning), 향후에는 부분 재사용·장기 메모리·분포 이동 하에서의 안전성 검증으로 확장될 필요가 있다(Question).

섹션별 요약

Introduction: LLM 기반 에이전트는 복잡한 사용자 요청을 하위 작업으로 분해(plan generation)한 뒤 툴을 호출해 수행한다. 그러나 플래닝은 LLM을 한 번 이상 호출하므로 평균 수십 초의 지연이 발생하며, 이는 인터랙티브 사용성에 치명적이다. 실데이터 분석 결과 전체 요청의 약 30%가 동일/유사한 의도를 가지므로, 플랜을 캐시하고 재사용하는 전략이 유효하다.
Methods: AgentReuse는 (1) 요청 임베딩 및 의도 분류기, (2) 플랜 저장소(plan store), (3) 유사 요청 매칭-재사용 판단 모듈, (4) 미스 시 LLM 플래닝 경로로 구성된다. 의도 분류기는 단순 문자열/임베딩 비교의 한계를 보완하여 자연어 표현 다양성에 강건한 매칭을 제공하며, 핵심 매개변수(slot) 식별로 동일 의도의 파라미터만 교체해 재활용한다.
Results (+table): 유사도 평가 F1 0.9718, Accuracy 0.9459, 재사용 성공률 93%, 엔드투엔드 지연 93.12% 감소.
Discussion: 의도 수준의 분류는 문자열·임베딩 기반 단순 매칭 대비 실제 사용자 요청의 표현 다양성에서도 견고했다. 플랜 포맷이 비정형이어도 “무엇을 하려 하는가(intent)“만 맞으면 기존 플랜이 재활용 가능함을 시사한다.
Insights: 전통적인 시스템(캐시/메모이제이션) 관점의 최적화가 LLM 에이전트 스택에도 그대로 유효하며, 의도-수준 추상화가 핵심 매개층 역할을 한다.
Discussion Points: 분포 이동·악의적 프롬프트 하에서의 잘못된 재사용 리스크, 플랜의 부분 재사용(sub-plan reuse), 장기 메모리와의 결합, 툴 API 변화에 따른 stale plan 관리.

메타데이터

항목	내용
제목	A Plan Reuse Mechanism for LLM-Driven Agent
저자	Guopeng Li, Ruiqi Wu, Haisheng Tan
발표	arXiv preprint (JCRD 2024 영문판)
arXiv	2512.21309
분류	Application (LLM Agents / Systems)
키워드	Plan Reuse, Intent Classification, LLM Agent, Latency Optimization

왜 이 연구를 하는가?

LLM 에이전트의 상용 서비스에서 가장 큰 사용자 불만 중 하나는 응답 지연이다. 요청을 받을 때마다 LLM이 처음부터 전체 플랜을 다시 생성하는 것은 계산 낭비다. 저자들은 프로덕션 로그 분석에서 요청의 30%가 의미적으로 중복됨을 발견하고, “같은 의도라면 같은 플랜을 쓸 수 있지 않은가”라는 단순하지만 강력한 가설을 제시한다. 단, 자연어는 표면형이 매우 다양하고 LLM이 뱉는 플랜 또한 포맷이 비정형이므로, 정답은 의도(intent) 수준의 추상화에 있다. 본 연구는 “LLM 에이전트 파이프라인에 캐시 계층을 어떻게 올바르게 정의·삽입할 것인가”라는 시스템 질문에 답을 제시한다.

방법 (Method)

flowchart LR
    U[User Request] --> E[Embedding / Intent Classifier]
    E --> M{Similar intent in Plan Store?}
    M -- Yes --> R[Reuse stored plan]
    M -- No --> L[LLM Plan Generation]
    L --> S[Store plan + intent]
    R --> X[Execute tools]
    S --> X
    X --> O[Response]

들어온 요청을 인코딩하여 의도 분류기로 상위 의도 클래스를 추정한다.
Plan Store에서 해당 의도에 매핑된 기존 플랜이 있는지 확인한다.
매칭 신뢰도가 임계치 이상이면 해당 플랜을 재사용하여 툴 실행 단계로 직행한다.
매칭 실패 시 LLM 플래너를 호출하여 새 플랜을 생성하고, 의도 레이블과 함께 저장한다.

이 구조의 핵심은 비교 대상이 “원문 텍스트”나 “플랜 문자열”이 아니라 “의도”라는 점이다. 표현이 달라도 같은 목적의 요청이면 동일 플랜으로 수렴시키는 정규화 효과를 얻는다.

발견 (Findings)

지표	값	의미
Similarity F1	0.9718	유사 요청 판별 정밀·재현 균형 우수
Similarity Accuracy	0.9459	전반적 의도 매칭 정확도
Plan Reuse Rate	93%	재사용 판정된 건 중 실제로 문제없이 실행된 비율
지연 감소	93.12%	재사용 미적용 대비 end-to-end latency 감소폭
재사용 가능 트래픽 비율	~30%	실제 요청 로그 분석 기준

수치들은 “의도가 같다”는 가정이 성립할 때 플랜 재사용이 안전하고 빠르다는 것을 강하게 시사한다. 특히 93%에 달하는 지연 감소는 인터랙티브 응답성에 직접적 파급 효과를 준다.

이론적 의의

전통적 시스템 최적화(캐싱, 메모이제이션, CDN)의 핵심 아이디어를 LLM 에이전트 스택에 이식 가능함을 보였다.
자연어 표면형과 비정형 플랜 포맷의 문제를 “의도”라는 중간 추상화로 우회하는 일반적 설계 패턴을 제시한다.
이는 LLM 에이전트의 비용·지연·안정성 문제를 추론 경로 바깥(시스템 레이어)에서 공략하는 접근의 예시다.

재현성 및 신뢰도 평가

항목	평가
코드 공개	본문에 명시적 공개 링크 확인 안 됨 (C)
데이터	저자 내부/파트너 트래픽 기반으로 추정, 공개 벤치마크 미확인
실험 스케일	단일 도메인/단일 시스템 내부 평가로 보임
주요 베이스라인	”재사용 없음” 대비 latency 비교 위주 — 더 다양한 캐시·매칭 전략 대비 미흡
Evidence Quality	B (명확한 수치·동기, 그러나 외부 재현 근거 부족)
Reproducibility	C (데이터셋·분류기 가중치 공개 여부 불명)

원자적 인사이트 (Zettelkasten)

Insight 1 — 의도는 플랜의 캐시 키다: 요청 텍스트나 플랜 문자열은 고유성이 너무 높아 캐시 키로 부적합하다. 의도(intent)라는 중간 추상화가 “같은 일을 하려는 요청”을 정규화하는 자연스러운 해시 함수 역할을 한다. 이는 LLM 파이프라인 어디서든 재활용 가능한 설계 원칙이다.
Insight 2 — 요청 분포의 헤비 테일이 실용성을 결정한다: 전체 요청의 30%가 재사용 가능하다는 경험적 사실이 있기에 재사용 메커니즘의 ROI가 성립한다. 따라서 어떤 LLM 시스템이든 “의도 히스토그램”을 먼저 측정하는 것이 최적화 우선순위를 결정하는 올바른 출발점이다.
Insight 3 — 시스템 레이어에서의 최적화가 모델 스케일링을 보완한다: 모델 성능 향상 없이도 사용자 체감 지연을 93% 줄일 수 있다는 것은, LLM 시대에도 “캐시·파이프라인·스케줄링” 같은 고전 시스템 기법이 여전히 큰 공간을 열어준다는 증거다.

핵심 용어 정리

Plan Generation: LLM이 사용자 요청을 하위 작업 시퀀스로 분해하는 단계.
Plan Reuse: 이전에 생성된 플랜을 새로운 유사 요청에 재활용하여 LLM 호출을 생략하는 전략.
Intent Classification: 자연어 요청을 사전 정의된 의도 카테고리로 매핑하는 분류 작업.
AgentReuse: 본 논문이 제안한 의도 분류 기반 플랜 재사용 프레임워크.
Plan Store: 의도 레이블을 키로, 생성된 플랜을 값으로 저장하는 캐시.

Juhyeon's Blog

탐색기

A Plan Reuse Mechanism for LLM-Driven Agent