다중 에이전트 시스템의 실패 귀인 재고: 다관점 벤치마크와 평가
Digest: 여러 LLM 에이전트가 협업하는 MAS가 과제에 실패했을 때 “어느 스텝이 원인인가”를 찾는 failure attribution은 기존 벤치마크에서 정답이 단 하나로 고정된 결정론적 라벨링 문제로 다뤄져 왔는데, 저자들은 이 가정 자체가 틀렸다고 주장한다. 핵심 통찰은 실패의 원인 스텝이 관찰자의 분석 관점에 따라 여러 개가 동시에 타당할 수 있다는 것이며, 실제로 전문가 3인 중 전원이 같은 스텝을 실패로 지목한 경우는 19.6%뿐이고 46.9%는 단 한 명만 지목했다(§4.3, Figure 3a). 방법으로는 Magentic-One(수작업 MAS)과 CaptainAgent(자동 MAS)를 GAIA·AssistantBench 과제에 돌려 121개 MAS 구성에서 289개 실행 로그를 모으고, Upwork 2단계 스크리닝을 통과한 전문가 3인이 각 스텝마다 failure-inducing 여부·failure reason·ideal action을 독립 주석한 뒤 consensus rate 랭킹으로 통합해 MP-Bench를 만든다. 평가는 LLM을 N=3회 stochastic sampling(τ=1.0)해 얻은 예측 랭킹을 정답 랭킹과 nDCG@5/nDCG@full로 비교하고, 귀인 근거는 GPT-5.1 LLM-as-a-Judge가 1
10점으로 채점한다. 핵심 수치로 hand-crafted MAS에서 GPT-oss-120B가 nDCG@5 0.449, Claude-Sonnet-4.5가 0.432를 기록해 random baseline 0.128을 크게 웃돌고, automatic MAS에서는 Sonnet-4.5가 0.788로 random 0.315를 압도하며, reasoning score도 대부분 7.78.3점대다(§6.2, Table 2). 함의는 Who&When 등에서 보고된 “LLM은 step-level 실패 귀인을 거의 무작위 수준으로밖에 못 한다”는 통념이 모델 능력의 한계가 아니라 평가 가정의 편향에서 비롯됐다는 것이다. 한계는 벤치마크가 289건·주석자 3인·general-purpose assistant 과제에 국한되고, MP-Bench가 메타 벤치마크일 뿐 다관점 귀인이 실제 디버깅 효율을 올리는지는 검증되지 않았다는 점이다.
먼저 이해하기
여러 AI 에이전트가 역할을 나눠 협업하다가 최종 답이 틀렸을 때, “몇 번째 스텝의 누가 망쳤나”를 짚어내는 일이 failure attribution이다. 기존 연구는 이 질문에 정답이 하나뿐이라고 보고 채점해 왔는데, 이 논문은 사람 전문가들에게 같은 로그를 주면 서로 다른 스텝을 지목한다는 사실을 데이터로 보여주며 그 전제를 뒤집는다.
MAS(다중 에이전트 시스템): Orchestrator, Data Analyst, WebSurfer, Verifier 같은 역할별 LLM 에이전트가 턴을 주고받으며 과제를 푸는 시스템.failure attribution(실패 귀인): 실패한 실행 로그에서 실패를 유발한 스텝과 에이전트를 찾아내는 작업.deterministic oracle(결정론적 정답): 실행 하나당 실패 스텝이 정확히 하나로 확정되어 있다는 기존 가정.multi-perspective failure attribution(다관점 실패 귀인): 실패 스텝 여러 개를 각각의 근거(rationale)와 함께 내놓는, 이 논문이 제안하는 새 문제 정의.consensus rate(합의율): 한 스텝을 실패로 지목한 주석자의 비율. 100%면 관점과 무관한 실패, 33%면 특정 관점에서만 성립하는 실패.
논문 Figure 1의 예시가 직관적이다. “1928 올림픽에 가장 적은 선수를 보낸 나라는?”이라는 질문에 Data Analyst가 합성 데이터를 만들어 파이썬 코드를 짜고, Orchestrator가 그 코드를 실행해 답을 낸다. 결정론적 관점은 “Step 3에서 합성 데이터를 넣은 코드를 만든 것”이 원인이라고 단정한다. 하지만 다른 분석가는 “Step 2에서 Orchestrator가 실데이터가 필요한 일을 Data Analyst에게 시킨 것”이 원인이라 볼 수 있고, 또 다른 분석가는 “Step 4에서 합성 데이터임을 알면서도 그 코드를 실행한 것”을 지목할 수 있다. 셋 다 합리적이다.
그래서 MP-Bench는 정답을 하나로 고르지 않고, 주석자 합의율로 스텝들을 순위로 정렬한다. 그리고 평가도 분류 정확도가 아니라 랭킹 일치도(nDCG)로 바꾼다. 이렇게 하면 100% 합의된 관점 불변 실패에는 큰 가중치가, 33% 합의 스텝에는 작은 가중치가 붙어서 주석 노이즈의 영향도 구조적으로 눌린다.
왜 중요한가: 기존 벤치마크는 합리적인 예측을 오답으로 처리해 왔다. MP-Bench 데이터에서 전문가 3인 전원 합의는 19.6%에 불과하고, 두 명만 합의한 경우 33.5%, 한 명만 지목한 경우 46.9%였으며 주석자 쌍 간 불일치율은 최대 58%까지 올라간다(§4.3). 이런 분포 위에 단일 정답을 강제하면 평가 자체가 신뢰를 잃는다. 실제로 평가 틀을 다관점으로 바꾸자 LLM의 nDCG@5는 random baseline(hand-crafted 0.128, automatic 0.315)을 크게 상회했고, 이는 “LLM이 near-random”이라던 Who&When의 결론과 정면으로 대비된다.
먼저 알아둘 용어 표
| 원 용어 | 쉬운 설명 |
|---|---|
| MAS execution log | 에이전트별 발화·행동이 스텝 순서로 기록된 실행 궤적 |
| failure-inducing step | 실패를 유발했다고 판단되는 스텝(binary 라벨) |
| failure reason / ideal action | 왜 실패인지, 대신 무엇을 했어야 하는지에 대한 자유서술 주석 |
| consensus rate | 그 스텝을 실패로 본 주석자 비율(1/3, 2/3, 3/3) |
| nDCG@K | 상위 K개 랭킹이 정답 랭킹과 얼마나 일치하는지 재는 순위 지표 |
| All-at-Once | 로그 전체를 한 번에 LLM에 넣어 실패 스텝을 뽑게 하는 귀인 방법 |
| LLM-as-a-Judge | 별도 LLM(GPT-5.1)이 예측 근거와 사람 근거를 대조해 1~10점을 매기는 채점 방식 |
| perspectivist paradigm | 주석자 불일치를 노이즈가 아니라 유의미한 신호로 보는 연구 관점 |
섹션별 요약
Abstract
기존 MAS failure attribution 벤치마크와 방법은 실행 실패마다 단일 결정론적 근본 원인이 있다고 가정한다. 저자들은 이 가정에 도전해, MAS 실패는 관찰자의 분석 관점에 따라 복수의 타당한 귀인을 허용한다고 주장한다. 이를 위해 multi-perspective failure attribution을 제안하고 이 설정을 위한 최초의 벤치마크·평가 프로토콜인 MP-Bench를 도입한다. 광범위한 실험으로, 기존 연구가 보고한 LLM의 실패 귀인 능력 한계는 모델 능력 부족이 아니라 MAS 실패의 다관점 성격을 반영하지 못한 평가 가정에서 비롯됨을 보인다. 코드·데이터셋은 https://github.com/yeonjun-in/MP-Bench 에 공개.
왜 이 연구를 하는가?
MAS 개발은 “벤치마크 평가 → 실패 요소 귀인 → 시스템 수정”의 반복 사이클을 돈다. 이 사이클의 병목이 failure attribution인데, 수동 스텝 검사는 노동집약적이라 자동화 연구가 나왔다. 선구적 작업인 Who&When은 실행마다 단일 결정론적 실패 스텝을 라벨링했고, 후속 연구들이 그 형식을 그대로 상속했다. 그 결과 (1) 합리적인 예측이 오답으로 잘못 판정되어 평가 신뢰성이 훼손되고, (2) 그 가정 위에 만든 모델이 다양한 인과 패턴을 못 잡는 편향을 물려받는다. Table 1이 정리하듯 MAST는 execution 단위라 step-level 평가가 불가능하고, TracerTraj(2,500건)와 Aegis(9,500건)는 완전 자동 구축이라 신뢰성이 의심되며, Who&When(184건)은 전문가 주석으로 품질은 높지만 여전히 단일 정답 가정이고, 넷 다 귀인 근거(reasoning) 평가를 지원하지 않는다.
Introduction
논문의 반문은 “MAS 실패의 원인 스텝이 정말 결정론적으로 정해지는가?”이다. 실제로는 유효한 실행 경로가 여럿이고 올바른 전략에 대한 기대도 제각각이라, 한 실패 실행이 복수의 타당한 귀인을 허용한다. 기여는 셋이다. (1) 선행 연구의 실용성을 제약하는 근본 가정을 지적하고 multi-perspective failure attribution이라는 현실적 문제 정의를 제안한다. (2) 이 설정 전용 벤치마크와 평가 프로토콜을 만든다. (3) “현재 LLM은 실패 귀인을 잘 못 한다”는 통념이 모델의 본질적 한계가 아니라 기존 벤치마크의 결정론적 가정에서 나온 착시임을 보인다.
Methods
문제 정의(§3). MAS를 M = ⟨N, S, A, P, φ⟩로 두고 실행을 유한 궤적 τ = {(s_t, a_t, φ(t))}로 표현한다. 기존 형식화는 f_det(τ) → F*, F* ⊆ {1,...,T}이고 대부분 |F*| = 1을 가정한다. 이 논문은 F(τ) = {(t_k, r_k)}_{k=1..K}로 확장해 실패 스텝 t_k와 그 관점의 근거 r_k를 함께 예측하도록 한다. 성공은 단일 정답 일치가 아니라 “복수의 합리적 귀인을 근거와 함께 회수하는 것”으로 재정의된다. 범위는 완료된 로그에 대한 offline·post-hoc 귀인으로 한정하고, 온라인 디버깅·실시간 개입은 다루지 않는다.
데이터 구축(§4.1). 시스템 설계와 실행 행태의 다양성을 위해 수작업 MAS는 Magentic-One, 완전 자동 MAS는 CaptainAgent를 쓰고, 과제는 GAIA와 AssistantBench를 쓴다. 총 121개 서로 다른 MAS 구성에서 289개 로그를 모았다. 주석자는 Upwork에서 모집하되 2단계 스크리닝을 거친다. 1단계는 기술 인터뷰로 “MAS failure attribution이 무엇인지” “턴 기반 로그를 어떻게 주석할지”를 자기 말로 설명하게 하고, 2단계는 실제 로그 테스트 케이스를 주고 저자들이 정확성·일관성·근거 명료성을 직접 검토한다. 최종 3인 선발. 주석 항목은 스텝마다 failure-inducing 이진 라벨, failure reason(자유서술), ideal action(자유서술)이다. 결정적으로 주석자에게 어떤 편향이나 가이드 관점도 제공하지 않는다 — 이것이 다관점성을 인위적 합의로 지워버리지 않기 위한 설계다.
노이즈 필터링(§4.1.4). 단독 주석 라벨은 진짜 관점일 수도, 오해·문맥 부족일 수도 있다. 단독 라벨 200개를 무작위 추출해 별도 리뷰어가 판정한 결과 65.5%가 정당한 관점, 34.5%가 노이즈였다. 이 판정을 스케일업하기 위해 Claude-Sonnet-4.5로 대체 가능한지 검증했더니 사람 리뷰어와 92.5% 일치, Cohen’s κ = 0.8401을 기록했다. 이 LLM 필터를 전체에 적용해 단독 주석 스텝의 31.6%를 제거했다.
주석 통합(§4.1.5). 스텝별 consensus rate를 계산해 순위를 매긴다. 100% 합의 스텝은 관점 불변 실패로 최우선 수정 대상이고, 일부만 지목한 스텝은 관점 의존 실패로 낮은 우선순위다. 최소 1인이 지목한 스텝만 포함한다. 자유서술 필드는 LLM이 모든 주석자의 근거를 새 정보 추가 없이 통합 요약하며, 주 모델은 GPT-5.1이고 GPT-4.1·Claude-Sonnet-4.5로 바꿔도 모델 랭킹이 유지됨을 부록 C.1에서 확인했다.
평가 프로토콜(§5). (1) 귀인 평가: LLM을 N회 stochastic sampling해 얻은 출력들을 사람 주석과 동일한 절차로 consensus 랭킹으로 통합한 뒤, 정답 랭킹과 nDCG@K로 비교한다. exponential gain을 써서 고합의 스텝을 더 강조하고 저합의 스텝은 감쇠시켜 주석 노이즈의 영향을 구조적으로 제한한다. (2) 근거 평가: GPT-5.1을 judge로 써서 ① 사람 판단과의 일관성 ② 실행 문맥에의 근거성 ③ 설명 충분성 ④ 제안 행동의 타당성을 기준으로 failure reason·ideal action·overall에 각각 1~10점을 매기고 전체 평균을 낸다.
실험 설정(§6.1). 귀인 시스템은 GPT-4.1, GPT-5.1, GPT-oss-120B, Claude-Sonnet-4.5, Qwen3-8B로 구성하고, 귀인 방법은 Who&When의 All-at-Once를 zero-shot으로 쓴다. 기본값은 N=3, temperature τ=1.0, 최대 출력 4,196 토큰. 상용 모델은 공식 API, GPT-oss-120B는 Together.ai API, Qwen3-8B는 NVIDIA RTX A6000 1장에서 로컬 실행. judge와 consolidation은 τ=0.0으로 고정한다.
발견 (Findings)
- 첫째, LLM의 stochastic sampling은 그 자체로 다관점을 반영한다. 같은 모델을 여러 번 샘플링하면 예측 실패 스텝 사이에 상당한 불일치가 나타나며(Figure 4a, GPT-5.1), 이 패턴이 사람 전문가 사이의 불일치 양상과 닮아 있다.
- 둘째, 다관점 평가 틀에서는 LLM이 실패 귀인을 꽤 잘한다. N=3 샘플링 시 모든 모델의 nDCG가 random baseline을 크게 상회한다(Table 2).
- 셋째, LLM이 낸 귀인에는 사람 근거와 정합적인 설명이 딸려 온다. LLM-as-a-Judge 점수가 대부분 7.7~8.3점대로 높아, 예측이 스텝 수준에서만 그럴듯한 게 아니라 근거 수준에서도 전문가 판단과 정렬된다.
- 넷째, 반복 샘플링과 이종 모델 결합은 질적으로 다르다. 같은 모델 반복 샘플링의 쌍별 불일치는 서로 다른 LLM 간 불일치보다 훨씬 낮다(Figure 4). 즉 반복 샘플링은 주로 확률적 변동을 잡고, 모델 결합은 질적으로 다른 귀인 관점을 들여온다.
Results
- 모델 순위: automatic MAS에서는 Claude-Sonnet-4.5가 nDCG@5 0.788 / @full 0.794 / reasoning 8.34로 전 지표 최상위. hand-crafted MAS에서는 GPT-oss-120B가 nDCG@5 0.449 / @full 0.507로 가장 높고 reasoning은 Sonnet-4.5가 8.09로 최고다. Qwen3-8B는 모델 크기 탓에 일관되게 최하위(hand 0.317 / auto 0.676, reasoning 6.26 / 6.62).
- 로그 길이 효과: automatic MAS의 nDCG가 hand-crafted보다 일관되게 높은데, 이는 hand-crafted 로그가 평균 33 스텝인 반면 automatic 로그는 평균 8 스텝이라 후보군이 작아 우연히 상위에 놓일 확률이 높기 때문이다. 같은 이유로 automatic 설정에서는 nDCG@5와 nDCG@full의 격차도 좁다.
- 최신·추론 모델이 항상 낫지는 않다: hand-crafted MAS에서 GPT-5.1(0.385)이 GPT-4.1(0.445)보다 뚜렷이 낮고, GPT-oss-120B는 hand-crafted에서는 경쟁력 있지만 automatic MAS에서 상대적으로 떨어진다.
- 샘플링 수 N(§6.2.1, Table 3): N을 3→7로 늘리면 대체로 좋아지지만 단조롭지 않다. 어떤 모델은 N=7까지 계속 오르고 어떤 모델은 N=5에서 포화하며, automatic MAS에서는 N=5 포화가 더 흔한 패턴이다. 무작정 N을 키우는 대신 커버리지와 계산 비용을 저울질하라는 것이 저자들의 권고다.
- 다중 LLM 조합(§6.2.2, Table 4): 서로 다른 모델 패밀리를 섞을 때 이득이 가장 크다. hand-crafted에서 G-4.1 + OSS + Sonnet이 0.493으로 최고 단일 모델(oss-120B 0.449)을 앞서고, automatic에서는 G-4.1 + G-5.1 + Sonnet이 0.811로 최고다.
- N 스케일링 in multi-LLM(§6.3, Figure 5): 3개 LLM 조합에서 N을 1→10(총 3
30런)으로 늘리면 평균 nDCG@5가 꾸준히 개선된다. 다만 정확한 수치는 Figure 5 축(약 0.6250.660 구간)으로만 제시되고 본문 표에는 없다. - 평가 강건성(부록 C.1): consolidation 모델 3종 × judge 모델 3종 = 9개 구성의 36개 쌍에 대해 Kendall’s τ를 계산. hand-crafted 평균 τ = 0.844(최소 0.600, 최대 1.00, 36쌍 중 31쌍 p < 0.1), automatic 평균 τ = 0.856(최소 0.733, 최대 1.00, 30/36 p < 0.1).
- 비-LLM 지표 교차검증(부록 C.2, Table 5): BLEU·embedding cosine similarity(text-embedding-3-small)로도 모델 순위 경향이 유지된다. LLM-Judge와의 Pearson 상관은 hand-crafted에서 BLEU r = 0.842, embedding r = 0.863, automatic에서 각각 r = 0.890, r = 0.938이다.
Discussion
이론적 의의
이 논문의 진짜 기여는 새 모델이 아니라 문제 정의의 교정이다. NLP의 perspectivist paradigm은 hate speech 같은 사회적 주관 과제에서 주석자 불일치를 가치관 차이로 해석해 왔는데, 이 논문은 같은 렌즈를 MAS 실패 귀인이라는 기술적 과제에 처음 적용한다. 여기서의 불일치는 개인의 가치관이 아니라 “올바른 실행 전략이 무엇인가”에 대한 기술적 해석 차이에서 온다. 그래서 결론이 강해진다 — 객관적 정답이 있을 법한 과제에서조차 단일 오라클 가정이 성립하지 않는다면, 벤치마크가 재는 것은 모델 능력이 아니라 라벨러의 특정 관점에 대한 적합도일 수 있다. 실무 지침도 여기서 파생된다. (1) 단일 결정론적 귀인 대신 여러 관점의 귀인을 집계하라. (2) 서로 다른 모델 패밀리를 섞어라. (3) 신뢰성이 더 필요하면 샘플 수를 늘리되 비용과 균형을 맞춰라.
Discussion Points
- “LLM이 못하는 게 아니라 평가가 잘못됐다”는 주장의 상한선이 비어 있다. 비교 기준이 random baseline뿐이라 사람 주석자 한 명을 같은 프로토콜로 채점했을 때의 nDCG(human ceiling)가 제시되지 않았다. nDCG@5 0.449가 “충분히 잘한다”인지 판단할 기준선이 없다.
- automatic MAS의 높은 점수(0.68~0.79)는 상당 부분 로그가 평균 8스텝으로 짧은 데서 온다고 저자 스스로 인정한다. 즉 automatic 설정 수치를 능력 근거로 인용할 때는 random baseline이 이미 0.315라는 점을 함께 봐야 한다.
- 다관점 라벨과 노이즈의 경계가 LLM 필터에 위임돼 있다. κ=0.8401은 높지만, 걸러낸 31.6% 중 일부가 실제로는 소수 관점이었을 가능성은 남는다. 이 필터가 곧 “무엇이 정당한 관점인가”를 정의한다는 점에서 방법론적 순환의 여지가 있다.
- consolidation과 judge에 같은 GPT-5.1을 쓴다. 부록 C.1의 9개 구성 교차검증이 이 우려를 상당히 완화하지만, 세 후보 모두 최신 상용 LLM이라 공통 편향은 남는다.
실험 결과 상세
MP-Bench의 주석 분포 — 단일 정답 가정이 성립하지 않는다는 직접 증거(§4.3, Figure 3)
| 항목 | 값 |
|---|---|
| 주석자 3인 전원이 실패로 지목한 스텝 | 19.6% |
| 정확히 2인이 지목 | 33.5% |
| 1인만 지목 | 46.9% |
| 주석자 쌍 간 최대 불일치율 | 58% |
| 단독 라벨 200건 중 정당한 관점 / 노이즈 | 65.5% / 34.5% |
| LLM 필터(Claude-Sonnet-4.5)의 사람 리뷰어 일치도 | 92.5%, Cohen’s κ = 0.8401 |
| LLM 필터로 제거된 단독 주석 스텝 비율 | 31.6% |
| 총 로그 / MAS 구성 수 / 주석 총 공수 | 289건 / 121개 / 약 346 expert-hours |
주 결과 — 실패 귀인 nDCG와 근거 점수(§6.2, Table 2, 3런 평균±표준편차)
| Model | Hand nDCG@5 | Hand nDCG@full | Hand Reason. | Auto nDCG@5 | Auto nDCG@full | Auto Reason. |
|---|---|---|---|---|---|---|
| Random | 0.128 | 0.148 | — | 0.315 | 0.321 | — |
| GPT-4.1 | 0.445 ±0.011 | 0.487 ±0.007 | 7.90 ±0.03 | 0.679 ±0.007 | 0.682 ±0.008 | 7.95 ±0.08 |
| GPT-5.1 | 0.385 ±0.008 | 0.464 ±0.008 | 7.94 ±0.04 | 0.769 ±0.0124 | 0.772 ±0.010 | 8.30 ±0.02 |
| Claude-Sonnet-4.5 | 0.432 ±0.004 | 0.498 ±0.004 | 8.09 ±0.07 | 0.788 ±0.0101 | 0.794 ±0.011 | 8.34 ±0.10 |
| Qwen3-8B | 0.317 ±0.016 | 0.366 ±0.019 | 6.26 ±0.09 | 0.676 ±0.0205 | 0.689 ±0.019 | 6.62 ±0.04 |
| GPT-oss-120B | 0.449 ±0.011 | 0.507 ±0.007 | 7.74 ±0.08 | 0.696 ±0.0143 | 0.706 ±0.015 | 8.09 ±0.11 |
샘플링 수 N과 다중 LLM 조합의 효과(nDCG@5, Table 3 / Table 4)
| 설정 | Hand-Crafted | Automatic |
|---|---|---|
| GPT-5.1, N=3 → 5 → 7 | 0.385 → 0.412 → 0.436 | 0.769 → 0.796 → 0.794 |
| Sonnet-4.5, N=3 → 5 → 7 | 0.432 → 0.453 → 0.464 | 0.788 → 0.793 → 0.802 |
| oss-120B, N=3 → 5 → 7 | 0.449 → 0.464 → 0.468 | 0.696 → 0.719 → 0.721 |
| 단일 최고(oss-120B / Sonnet-4.5) | 0.449 | 0.788 |
| G-4.1 + G-5.1 + OSS | 0.480 ±0.009 | 0.789 ±0.011 |
| G-4.1 + G-5.1 + Sonnet | 0.482 ±0.010 | 0.811 ±0.009 |
| G-4.1 + OSS + Sonnet | 0.493 ±0.013 | 0.795 ±0.004 |
| G-5.1 + OSS + Sonnet | 0.491 ±0.003 | 0.810 ±0.012 |
평가 프로토콜의 강건성 검증(부록 C.1 / C.2, Table 5)
| 검증 항목 | Hand-Crafted | Automatic |
|---|---|---|
| consolidation×judge 9구성 36쌍 Kendall τ 평균 | 0.844 | 0.856 |
| τ 최소 / 최대 | 0.600 / 1.00 | 0.733 / 1.00 |
| p < 0.1 달성 쌍 | 31 / 36 | 30 / 36 |
| LLM-Judge ↔ BLEU Pearson r | 0.842 | 0.890 |
| LLM-Judge ↔ Embedding Sim. Pearson r | 0.863 | 0.938 |
| Table 5 LLM-Judge 점수(Sonnet-4.5 / Qwen3-8B) | 8.16 / 6.36 | 8.24 / 6.60 |
관련 연구 비교 매트릭스
Table 1을 그대로 옮기고 본 노트의 해석을 덧붙였다.
| 벤치마크 | 귀인 단위 | 주석 방식 | 근거 평가 | 관점 | 규모 | 이 논문의 지적 |
|---|---|---|---|---|---|---|
| MAST | Execution | Hybrid | ✗ | Single | 1,600 | 실행 단위라 step-level 귀인 평가 불가 |
| Who&When | Step | Expert | ✗ | Single | 184 | 품질은 높지만 단일 오라클 가정, 여기서 “LLM은 near-random”이 나옴 |
| TracerTraj | Step | Automated | ✗ | Single | 2,500 | 완전 자동 파이프라인이라 복잡한 인과 패턴 신뢰성 의심 |
| Aegis | Agent | Automated | ✗ | Single | 9,500 | 규모는 최대지만 agent 단위 + 자동 구축 |
| MP-Bench | Step | Expert | ✓ | Multi | 289 | 규모는 작지만 다관점 + 근거 평가를 유일하게 지원 |
프레임워크 다이어그램
flowchart TD A["MAS 구성 121종<br/>Magentic-One 수작업 + CaptainAgent 자동"] --> C B["과제<br/>GAIA + AssistantBench"] --> C C["실패 실행 로그 289건"] --> D D["전문가 3인 독립 주석<br/>failure-inducing / failure reason / ideal action<br/>가이드 관점 미제공"] D --> E["노이즈 필터<br/>Claude-Sonnet-4.5, 사람과 92.5% 일치<br/>단독 라벨 31.6% 제거"] E --> F["Consensus rate 랭킹 통합<br/>GPT-5.1 자유서술 통합"] F --> G["MP-Bench 정답 랭킹"] H["평가 대상 LLM<br/>GPT-4.1 / GPT-5.1 / oss-120B<br/>Sonnet-4.5 / Qwen3-8B"] --> I I["All-at-Once zero-shot<br/>N회 stochastic sampling, 온도 1.0"] --> J J["예측 랭킹 통합"] --> K G --> K["nDCG@5 / nDCG@full<br/>exponential gain"] G --> L["GPT-5.1 LLM-as-a-Judge<br/>1 to 10점, 4개 기준"] J --> L K --> M["결론: random 대비 큰 우위<br/>Who&When의 near-random 결론과 대비"] L --> M
재현성 및 신뢰도 평가
종합등급: Evidence B / Reproducibility B
- 근거(Evidence B): 5개 LLM × 2개 MAS 설정 × 2개 nDCG 변형 + reasoning score를 3런 평균±표준편차로 보고하고, random baseline을 명시했으며, N 스케일링(3/5/7)·다중 LLM 조합(4가지)·judge/consolidation 9구성 Kendall τ·비-LLM 지표(BLEU·embedding) 교차검증까지 붙였다. 여기까지는 A급 설계다. 그러나 (1) 벤치마크가 289건·주석자 3인·general-purpose assistant 과제로 좁고, (2) 핵심 주장인 “LLM은 충분히 유능하다”의 비교 대상이 random baseline뿐이라 human ceiling이 없으며, (3) Table 2와 Table 4의 Sonnet-4.5 automatic nDCG@5가 각각 0.788과 0.794로 어긋나고(0.794는 Table 2의 nDCG@full 값과 일치) Table 2와 부록 Table 5의 LLM-Judge 점수도 미세하게 다르다(Sonnet hand 8.09 vs 8.16). 따라서 A는 아니다.
- 근거(Reproducibility B): 코드·데이터셋 저장소(https://github.com/yeonjun-in/MP-Bench)가 공개돼 있고, 주석 지침(Figure 6)·귀인 프롬프트(Figure 7)·judge 프롬프트(Figure 8) 전문이 부록에 실려 있으며, N=3·τ=1.0·max 4,196 tokens·RTX A6000 등 설정이 명시적이다. 반면 GPT-5.1·Claude-Sonnet-4.5 같은 상용 모델은 버전 드리프트로 수치 재현이 어렵고, Upwork 전문가 3인 모집·스크리닝 과정은 원리적으로 재현 불가하며, 평가 자체가 LLM judge에 의존한다.
주장별 신뢰도
- “MAS 실패 귀인은 본질적으로 다관점이다” — 신뢰도 높음. 3인 전원 합의 19.6%, 단독 주석 46.9%, 쌍별 불일치 최대 58%라는 주석 분포가 직접 증거이고, 노이즈 필터로 34.5%를 걸러낸 뒤에도 남는 불일치라는 점이 논거를 강화한다.
- “LLM의 실패 귀인 무능은 평가 가정의 산물이다” — 신뢰도 중간. random 대비 우위(hand 0.449 vs 0.128, auto 0.788 vs 0.315)는 명확하지만, Who&When과 같은 데이터·같은 지표로 직접 재평가한 대조 실험이 아니라 서로 다른 벤치마크·지표 간 대비다. human ceiling도 없다.
- “다중 LLM 조합이 단일 LLM을 일관되게 능가한다” — 신뢰도 중간. hand-crafted에서는 0.449 → 0.493으로 이득이 뚜렷하지만, automatic에서 G-4.1+G-5.1+OSS 0.789는 단일 Sonnet-4.5 0.788과 사실상 동률이고 G-4.1+OSS+Sonnet 0.795도 표준편차 범위 내라 “consistently”는 다소 강한 표현이다.
- “Claude-Sonnet-4.5가 대부분 설정에서 최강” — 신뢰도 낮음. hand-crafted nDCG@5(0.432)와 @full(0.498) 모두 GPT-oss-120B(0.449 / 0.507)에 밀린다. automatic과 reasoning score에서는 맞는 서술이다.
- “N을 늘리면 성능이 오른다” — 신뢰도 중간. Table 3에서 방향성은 일관되나 GPT-4.1 hand-crafted는 0.445 → 0.444 → 0.447로 사실상 정체이고, §6.3의 N=1~10 스케일링은 Figure 5로만 제시돼 본문에 수치 표가 없다.
미확인 항목: §6.3 Figure 5의 정확한 nDCG@5 값들(축 범위 0.625~0.660만 확인 가능), Figure 3·4의 정확한 막대/히트맵 수치(본문 서술로만 확인), Table 5의 automatic Reason. Score 열 일부(GPT-4.1 7.87 등은 확인, 다만 Table 2와 소수점 단위 불일치).
원자적 인사이트 (Zettelkasten)
- 단일 오라클 가정은 벤치마크의 성질이지 과제의 성질이 아니다. MAS 실패 귀인은 객관적 정답이 있어 보이는 기술적 과제인데도 전문가 3인 전원 합의가 19.6%뿐이다. 어떤 과제를 단일 라벨로 만들 수 있다는 사실이 그 과제에 단일 정답이 있다는 뜻은 아니며, 라벨 형식을 정하는 순간 벤치마크는 “능력”이 아니라 “특정 관점에의 적합도”를 재기 시작한다.
- 평가 형식을 분류에서 랭킹으로 바꾸면 주석 노이즈가 구조적으로 감쇠한다. consensus rate로 순위를 매기고 exponential gain nDCG로 채점하면, 100% 합의 스텝은 크게 반영되고 33% 합의 스텝은 작게 반영된다. “무엇이 노이즈인가”를 사전에 이진 판정하지 않고도 노이즈의 영향력을 상한 짓는 설계다.
- LLM의 sampling 분산은 버그가 아니라 관점 다양성의 대리 변수일 수 있다. 같은 모델을 반복 샘플링했을 때의 불일치가 사람 주석자 간 불일치 패턴을 닮는다면, temperature를 낮춰 결정론을 강제하는 것은 정보를 버리는 행위다. 단, 반복 샘플링의 쌍별 불일치는 이종 모델 간 불일치보다 훨씬 낮아 — 질적으로 다른 관점을 원하면 모델 패밀리를 바꿔야 한다.
- 로그 길이는 귀인 벤치마크 점수를 좌우하는 숨은 교란 변수다. automatic MAS 로그는 평균 8스텝, hand-crafted는 33스텝이고 그 결과 random baseline부터 0.315 대 0.128로 갈린다. 서로 다른 MAS 벤치마크의 절대 점수를 비교할 때 후보 스텝 수를 보정하지 않으면 난이도 차를 능력 차로 오독한다.
- perspectivist 프레임은 사회적 주관 과제 밖에서도 작동한다. hate speech 주석 불일치는 가치관에서 오지만 MAS 실패 귀인의 불일치는 “올바른 실행 전략”에 대한 기술적 해석 차이에서 온다. 불일치의 원천이 달라도 “불일치를 신호로 보존한다”는 처방은 이전 가능하다.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| MP-Bench | 289개 MAS 실행 로그를 전문가 3인이 독립 주석해 만든 최초의 다관점 실패 귀인 벤치마크 |
| multi-perspective failure attribution | 실패 스텝 집합과 각각의 근거를 함께 예측하는 문제 정의, F(τ) = {(t_k, r_k)} |
| consensus rate | 한 스텝을 실패로 지목한 주석자 비율. 100%는 관점 불변 실패, 33%는 관점 의존 실패 |
| perspective-invariant failure | 모든 주석자가 동의하는 가장 명백한 실패 지점, 디버깅 최우선 대상 |
| nDCG@K (exponential gain) | 예측 랭킹과 정답 랭킹의 일치도를 재는 지표. 고합의 스텝을 지수적으로 강조 |
| All-at-Once | 로그 전체를 한 번에 넣어 실패 스텝·이유·이상 행동을 JSON으로 뽑게 하는 zero-shot 귀인 방법 |
| annotation consolidation | 여러 주석자/여러 샘플의 라벨을 consensus 랭킹 + LLM 요약 근거로 합치는 절차 |
| Magentic-One / CaptainAgent | 각각 수작업 설계 MAS와 완전 자동 구성 MAS 프레임워크, 로그 수집원 |
관련 연구
- GAIA - A Benchmark for General AI Assistants — MP-Bench가 실행 로그를 수집할 때 쓴 과제 출처(AssistantBench와 함께). 여기서의 실패 사례가 곧 귀인 대상이 된다.
- Are Your Agents Upward Deceivers — 에이전트 실패 행동을 LLM-as-a-Judge로 계량화하는 방법론적 이웃. 다만 그쪽은 “실패를 숨기는 행위”를, 이쪽은 “실패의 원인 스텝”을 잰다.
- A Survey on LLM-as-a-Judge — 본 논문의 귀인 근거 평가가 전적으로 의존하는 LLM 심판 프레임의 배경 및 알려진 편향 목록.
- Latent Collaboration in Multi-Agent Systems — 귀인의 대상이 되는 MAS 협업 구조 자체를 다루는 노트. 에이전트 간 의존이 복잡할수록 다관점성이 커진다.
- Which Agent Causes Task Failures and When - On Automated Failure Attribution of LLM Multi-Agent Systems — Who&When(ICML). 이 논문이 직접 반박하는 결정론적 선행 벤치마크로, “LLM은 near-random” 결론의 출처. (아직 노트 없음)
태그
논문 멀티에이전트 실패귀인 벤치마크 LLM심판 주석불일치 perspectivism MP-Bench
BibTeX
@inproceedings{in2026rethinking,
title = {Rethinking Failure Attribution in Multi-Agent Systems: A Multi-Perspective Benchmark and Evaluation},
author = {In, Yeonjun and Tanjim, Md Mehrab and Subramanian, Jayakumar and Kim, Sungchul and Bhattacharya, Uttaran and Kim, Wonjoong and Park, Sangwu and Sarkhel, Somdeb and Park, Chanyoung},
booktitle = {KDD 2026 Workshop on Agentic Software Engineering (AgenticSE)},
year = {2026},
url = {https://openreview.net/forum?id=oBaY1EFz6z}
}