Chatbot Arena: 인간 선호 기반 LLM 평가를 위한 오픈 플랫폼

Digest: Context — 대규모 언어 모델(LLM)의 성능을 재는 기존 벤치마크는 대부분 정적(static)이고 정답(ground truth)이 있는 객관식·QA 형태여서, 실제 사용자가 던지는 개방형(open-ended) 질문에서의 인간 선호 정렬(alignment)을 못 잡는다. 정적 벤치마크는 오염(contamination)·포화(saturation)·과적합(overfitting) 문제까지 안고 있다(MMLU·HellaSwag·GSM-8K 등). Insight — 평가를 정답이 아니라 “사람이 두 응답 중 어느 쪽을 더 좋아하는가”라는 쌍대비교(pairwise comparison)로 바꾸고, 이를 라이브·크라우드소싱으로 대규모 수집하면, 실세계 사용을 반영하면서도 신선한(live) 질문 분포를 얻을 수 있다. Solution — Chatbot Arena는 사용자가 자유 프롬프트를 입력하면 익명의 두 모델이 답을 내고 사용자가 선호 모델에 투표(승·패·무승부·둘 다 별로)하는 무료 웹 플랫폼이다. 모인 쌍대비교를 Bradley-Terry(BT) 모델로 적합해 모델별 점수와 랭킹을 추정하고, 샌드위치(sandwich) 강건 표준오차로 신뢰구간을, 카이제곱 CLT로 다중성 보정 랭킹을 만든다. 비슷한 실력의 모델 쌍에 투표를 몰아주는 능동 표집(active sampling)과 이상 사용자(anomalous user) 탐지(Fisher 결합검정 + Bonferroni 변형)를 더한다. Evidence — 2023년 4월부터 2024년 1월까지 100여 개 언어로 90K 사용자에게서 240K 투표(50개 이상 모델, 모델당 평균 8K 투표)를 모았다. 크라우드 투표와 전문가의 일치율은 72.8%83.1%로, 전문가 간 일치율(79.4%, 89.8%)과 비슷한 수준이라 투표 품질이 검증된다. 능동 표집은 win matrix를 정밀도 0.2로 추정하는 데 랜덤(6,800표) 대비 4,400표로 충분해 랜덤이 약 54% 더 많은 데이터를 요구한다. 이상 사용자 탐지는 α=0.1에서 참양성 약 90%, 참음성 6070%에 도달한다. Implication — Arena는 “정적·정답형”에서 “라이브·인간선호형”으로 LLM 평가의 축을 옮긴 첫 대규모 오픈 플랫폼으로, OpenAI·Google·Anthropic 등 주요 개발사가 인용하는 사실상의 산업 표준 리더보드가 됐다. 다만 사용자층이 LLM 애호가·연구자에 편중돼 프롬프트 분포가 치우칠 수 있고, 안전성(safety)이 아니라 유용성(helpfulness)만 측정한다는 한계가 남는다.

섹션별 요약

Abstract

LLM은 새로운 능력과 응용을 열었지만, 인간 선호와의 정렬을 평가하는 일은 여전히 큰 도전이다. 이를 위해 저자들은 인간 선호 기반 LLM 평가 오픈 플랫폼인 Chatbot Arena를 소개한다. 방법론은 쌍대비교 방식을 채택하고 크라우드소싱으로 다양한 사용자층의 입력을 활용한다. 플랫폼은 수개월간 운영되며 24만 건(over 240K)을 넘는 투표를 모았다. 본 논문은 플랫폼을 기술하고, 지금까지 모은 데이터를 분석하며, 효율적이고 정확한 모델 평가·랭킹을 위해 사용하는 검증된(tried-and-true) 통계 기법을 설명한다. 저자들은 크라우드소싱 질문이 충분히 다양하고 변별력이 있으며, 크라우드 투표가 전문가 평가와 잘 일치함을 확인한다. 이 분석들은 Chatbot Arena 신뢰성의 견고한 토대를 세운다. 고유한 가치와 개방성 덕분에 Arena는 가장 많이 참조되는 LLM 리더보드 중 하나가 됐다. 데모는 https://chat.lmsys.org 에서 공개된다.

저자 contribution

100만(over 1M) 사용자 방문 규모의 최초의 대규모 크라우드소싱 라이브 LLM 평가 플랫폼을 구축했다.
수집한 데이터에 대해 프롬프트 다양성·품질, 투표 품질, 인간 피드백에 대한 통찰을 포함한 심층 분석을 수행했다.
Arena에서 모은 10만(over 100K) 건 이상의 쌍대비교 인간 선호 데이터셋을 공개한다.
어떤 모델 쌍을 보여줄지 능동적으로 고르는 효율적 표집 알고리즘을 설계해 표본 효율을 (때로는 크게) 개선한다.

왜 이 연구를 하는가?

핵심 질문: 정답이 없거나 정의하기 어려운 개방형·실세계 과제에서 LLM이 인간 선호와 얼마나 정렬돼 있는지를, 신선하고 다양한 질문으로 대규모·저비용으로 신뢰성 있게 평가·랭킹할 수 있는가?

기존 접근법의 한계

한계	설명
개방형 사용을 못 담음	MMLU·HellaSwag·GSM-8K 같은 정적·정답형 벤치마크의 질문은 객관식·QA로 폐쇄적이어서, 실세계의 유연하고 상호작용적인 사용을 포착하지 못한다.
오염·포화	테스트셋이 정적이라 시간이 지나면 학습 데이터에 오염(contamination)될 수 있고 포화·과적합이 생겨 평가 신뢰도가 떨어진다.
정답 정의 불가	많은 복잡한 과제는 명확한 ground truth를 세우는 것이 어렵거나 불가능하다.
라이브 인간 선호의 부재	RLHF용 라이브 인간 상호작용 연구(Anthropic·OpenAI·Llama 2 등)는 있으나 특정 조직 내부에 한정돼, 공개·대규모·크라우드소싱 플랫폼이 없었다.

핵심 통찰

절대 점수를 매기게 하면 사람마다 기준이 달라지므로, **쌍대비교(둘 중 더 나은 것 고르기)**로 단순화하면 일관된 채점 루브릭 없이도 노이즈가 적은 선호 신호를 모을 수 있다.
사전 프롬프트를 깔지 않고 사용자가 자유 입력하게 하면, 참여 유인을 키우는 동시에 실세계를 반영하는 신선·다양한 질문 분포를 얻는다.
Elo 대신 Bradley-Terry 계수를 점수로 쓰면 통계적 추정(신뢰구간·다중성 보정)에 더 적합하다.

Introduction

LLM은 전통적 NLP 경계를 넘어 광범위한 일반 과제를 다루게 됐지만, 그 성능을 어떻게 평가할지가 새 과제로 떠올랐다. 저자들은 벤치마크를 두 축으로 분류한다 — 질문 출처가 정적(static)인가 라이브(live)인가, 평가 지표가 정답(ground truth)인가 인간 선호(human preference)인가(Figure 1). 가장 흔한 정적·정답형은 저렴하고 재현 가능하지만 개방형 사용 미포착·오염·정답 정의 불가라는 한계를 안는다. 따라서 실세계 사용을 더 정확히 반영하는, 인간 선호 기반의 개방·라이브 평가 플랫폼이 절실하다.

이를 위해 저자들은 익명·무작위 대전(anonymous, randomized battles)을 크라우드소싱하는 Chatbot Arena를 도입한다. 사용자는 질문을 던지고 익명의 두 LLM에게서 답을 받은 뒤 더 나은 쪽에 투표하며, 모델 정체는 투표 후에야 공개된다. 이렇게 모은 데이터에 Bradley & Terry(1952)의 통계 모델부터 Vovk & Wang(2021)의 E-value까지 강력한 통계 기법을 적용해 랭킹을 가능한 한 신뢰성 있고 표본효율적으로 추정한다. 또한 랭킹 수렴을 가속하면서 통계적 타당성을 유지하도록 모델 쌍을 고르는 효율적 표집 알고리즘을 설계한다. 2023년 4월부터 운영해 2024년 1월 기준 100여 개 언어로 약 90K 사용자에게서 240K 투표를 받았고, 50개 이상 최신 모델을 무료로 제공한다.

Methods

1) 인간 선호 데이터 수집 (인터페이스). 각 대전에서 익명의 두 모델이 표집된다. 사전 프롬프트 없이 사용자가 자유 입력하고, 두 응답을 나란히 비교해 선호하는 쪽에 투표한다. 첫 턴에서 못 고르면 승자가 가려질 때까지 대화를 이어갈 수 있고, “tie(무승부)“와 “both are bad(둘 다 별로)” 버튼도 제공한다. 사용자는 서비스 이용 전 데이터 공개에 동의하는 이용약관을 수락한다.

2) 데이터 통계. 2024년 1월 기준 50개 이상 모델, 영어 77%·중국어 5% 등 100여 개 언어, 멀티턴 대화. 익명성을 위해 모델명·회사명 키워드로 정체 노출 대화를 필터링하고, OpenAI moderation API로 불안전 콘텐츠를 표시한다(전체 요청의 3%가 플래그). 최근 하루 1~2K 투표.

3) 쌍대비교 → 랭킹. 시점 t에 모델 쌍 $A_{t} \in A$ 를 골라 보여주고 사람의 반응 $H_{t} \in [0, 1]$ (이진은 0/1)을 관측한다. 목표는 win matrix $θ^{*} (a) = E [H_{t} ∣ A_{t} = a]$ 추정이다. 점수로는 Bradley-Terry 계수 $ξ$ 를 쓴다 — 모델 $m$ 이 $m^{'}$ 를 이길 확률을 로지스틱 $P = 1/ (1 + e^{ξ_{m^{'}} - ξ_{m}})$ 으로 모델링하고, 이진 교차엔트로피를 최소화해 $ξ$ 를 추정한다( $ξ_{1} = 0$ 고정). BT 모델이 가정을 어겨도 Huber(1967)·White(1982)의 결과로 샌드위치 공분산을 쓰면 MLE는 점근적으로 정규분포를 따른다. 이전 인터페이스가 쓰던 Elo 대신 BT 계수로 바꾼 이유는 통계적 추정에 더 낫기 때문이다.

4) 효율적 근사 랭킹. Win matrix는 역확률 가중 $X_{t} (a) = \frac{1}{P _{t} ( a )} H_{t} 1 {A_{t} = a}$ 의 평균으로 불편추정하고, 공분산도 추정해 CLT로 신뢰구간을 만든다. BT 계수는 역가중 MLE로 추정하며, 신뢰구간은 (1) 피벗 부트스트랩과 (2) 샌드위치 강건 표준오차 두 방법을 검토한 뒤 대표본에서 폭이 더 작은 샌드위치를 채택한다. 랭킹은 카이제곱 CLT 구간으로 **다중성 보정(multiplicity correction)**해, “어떤 모델의 성능도 과소표시되지 않을” 확률을 $1 - α$ 로 보장한다. 능동 표집 규칙: 각 모델 쌍을 표집했을 때 신뢰구간 폭이 줄어드는 양에 비례해 $P_{t} (a)$ 를 배정한다(식 9).

5) 이상 사용자 탐지. 새 사용자의 평점 분포를 그 행동에 대한 역사적 분포와 비교해, 교환가능성(exchangeability) 귀무가설 아래 유효한 p-value $p_{i}$ 를 계산한다(식 10, 증명은 부록 C). 사용자의 $j$ 번째 투표 후 $M_{j} = - 2 \sum_{i = 1}^{j} lo g (p_{i})$ (Fisher 결합검정)를 1~100 사이 무작위 $j$ 5곳에서 계산하고, $M_{j} \geq χ_{2 j, 1 - α /5}^{2}$ (Bonferroni 변형)이면 이상으로 판정한다. 무작위 시점은 사용자가 p-value를 해킹하지 못하게 한다.

발견 (Findings)

프롬프트 다양성: BERTopic(text-embedding-3-small 임베딩 → UMAP 1,536→5차원 축소 → HDBSCAN, 최소 클러스터 32) 파이프라인이 600개 토픽 클러스터를 식별한다. 최대 클러스터도 전체의 1%에 불과하고 나머지는 빠르게 <0.5%로 떨어지며 클러스터 간 유사도가 작아, 롱테일·다양 분포를 보인다.
변별력: GPT-4-0613 vs Llama-2-70b-chat를 GPT-4-turbo 심판으로 토픽별 비교하면, 코딩·추론 클러스터에서 GPT-4 승률이 최대 96.7%(Python Game Programming)인 반면, 문제해결이 적은 클러스터(영화 추천 등)에서는 60% 아래로 떨어진다 → 일부 토픽 클러스터가 모델을 효과적으로 변별한다.
투표 품질: 크라우드-전문가 일치율 72.8%~~83.1%로 전문가 간 일치율(79.4%·89.8%)과 비슷. 크라우드-전문가 격차(5~~10%)는 주로 크라우드가 사실 오류를 놓치는 데서 비롯된다.
능동 표집 효과: win matrix를 정밀도 0.2로 맞추려면 랜덤 6,800표 vs 적응형 4,400표(랜덤이 54% 더 필요), 정밀도 0.3이면 17,200 vs 16,400표(5% 더 필요).
이상 탐지: α=0.1에서 참양성 13/14(약 90%), 참음성 24/36; α=0.3에서 참양성 21/29, 참음성 17/21.

Results

T=213,576개 과거 투표를 리플레이해 BT 계수와 신뢰구간을 계산했다(Figure 5, 보정/비보정 구간). 시뮬레이션(BT 계수를 beta(1/γ,1/γ)에서 추출, γ=2, 20회 시행)에서 신뢰구간의 커버리지는 모델 수 M과 무관하게 $1 - α$ 근처에 수렴하며, M이 커질수록 구간 폭은 넓어진다(Figure 6). 랭킹 표에서 gpt-4-turbo가 #1, gpt-4-0314가 2로 추정됐다(Figure 5). Arena Bench(크라우드 프롬프트로 구성한 도전적 벤치마크)는 MT-Bench보다 독점 모델과 최강 오픈 모델 사이 성능 격차를 더 크게 드러낸다(Figure 4).

Discussion

한계: (1) 사용자층이 LLM 애호가·연구자에 편중돼 사용자 분포가 편향될 수 있다. (2) 데이터가 온라인 채팅 인터페이스에서 주로 나와 프로덕션·전문 도메인의 실사용을 정확히 반영하지 못할 수 있다(프롬프트 분포 치우침). (3) 유용성(helpfulness)에 집중하고 안전성(safety)은 다루지 않는다 — 안전성 평가용 병렬 메커니즘의 필요성을 인정한다.

향후: 종합 토픽 리더보드, 멀티모달·에이전트 LLM 전용 섹션(게임화된 동적 환경), 그리고 비음수 슈퍼마팅게일·E-value(Howard 2020; Vovk & Wang 2021; Ramdas 2023) 이론으로 이상 사용자 탐지를 더 엄밀화하는 방향(의존성 처리). 단 시도한 변형들은 검정력 면에서 잘 작동하지 않았다.

이론적 의의

LLM 랭킹을 “온라인 실험 설계 + 강건 MLE” 문제로 재정식화한 점이 핵심이다. BT 계수를 점수로 삼아 모델 오지정(misspecification)에도 샌드위치 공분산으로 점근 정규성을 확보하고, 다중성 보정(카이제곱 CLT)으로 랭킹 자체에 동시 커버리지 보장을 부여하며, 능동 표집으로 표본효율을 끌어올린다. 이는 휴리스틱한 Elo 운영을 통계적으로 정당화 가능한 추정 프레임워크로 승격시킨 사례다.

Discussion Points

논쟁점: 사용자 편향(애호가·연구자 위주)과 자기선택(self-selection)된 프롬프트 분포가 “실세계 정렬” 주장을 얼마나 뒷받침하는가? 영어 77% 편중도 일반화에 제약.
검증 가정: BT의 이행성(transitivity)·동질성 가정이 깨질 수 있고(예: 비이행적 선호), 이상 사용자 p-value의 점근적 독립 가정은 휴리스틱하게 적용됐다.
후속: 스타일·길이 등 교란요인 통제(이후 등장한 style-controlled Arena), 토픽별·언어별 리더보드, 안전성 병렬 평가, 투표 어뷰징·모델명 누출에 대한 강건성.

실험 결과 상세

투표 품질 — 쌍대 일치율 (Table 3): 크라우드 vs 전문가/GPT-4 심판

비교쌍	평가자 A vs B	일치율
GPT-4-Turbo vs Llama-2-13b	Crowd–Expert1	72.8%
〃	Crowd–Expert2	77.8%
〃	Crowd–GPT-4	75.6%
〃	Expert1–Expert2	89.8%
〃	Expert1–GPT-4	81.0%
GPT-4-Turbo vs GPT-3.5-Turbo-0613	Crowd–Expert1	73.8%
〃	Crowd–Expert2	83.1%
〃	Crowd–GPT-4	75.6%
〃	Expert1–Expert2	79.4%

GPT-4-Turbo 승률 (Table 4)

상대	Arena User	Expert1	Expert2	GPT-4
Llama-2-13b	81.2%	89.4%	86.9%	78.8%
GPT-3.5-Turbo	76.3%	82.5%	89.4%	79.4%

토픽 클러스터별 변별력 (Table 2, GPT-4-0613 vs Llama-2-70b-chat, GPT-4-turbo 심판, 30 프롬프트)

토픽 클러스터	GPT-4 승률	크기
Python Game Programming Challenge	96.7%	0.2%
C/C++ Process Multi-Threading	86.7%	0.3%
SQL Query Database Assistance	73.3%	0.2%
Poetry Writing Prompts	66.7%	1.1%
Python Coding Basics	65.0%	0.2%
Movie Recommendations & Ratings	53.3%	0.2%

능동 표집 vs 랜덤 (Figure 7)

목표 정밀도	랜덤 표본수	적응형 표본수	랜덤 초과율
win matrix 0.2	6,800	4,400	+54%
BT 점수 0.3	17,200	16,400	+5%

이상 사용자 탐지 혼동행렬 (Table 5)

α	실제\예측	Positive(이상)	Negative(정상)
0.1	실제 Positive	13/14	12/36
0.1	실제 Negative	1/14	24/36
0.3	실제 Positive	21/29	4/21
0.3	실제 Negative	8/29	17/21

데이터셋 규모 (Table 1): Chatbot Arena(2024/1/21) — 243,329 대화, 50 모델, 90,051 사용자, 149 언어, 평균 1.3턴, 프롬프트 평균 94.9토큰·응답 269.0토큰(Llama2 토크나이저 기준).

프레임워크 다이어그램

flowchart TD
    A[사용자: 자유 프롬프트 입력] --> B[익명 두 모델 무작위 표집<br/>능동 표집 P_t·a]
    B --> C[모델 A·B 응답 나란히 표시]
    C --> D{사용자 투표<br/>승/패/무승부/둘다별로}
    D --> E[투표 후 모델 정체 공개]
    E --> F[(쌍대비교 데이터<br/>240K 투표)]
    F --> G[필터링: 모델명 누출 차단<br/>OpenAI moderation API]
    G --> H[Win Matrix 추정<br/>역확률 가중 평균]
    H --> I[Bradley-Terry 계수 MLE<br/>역가중]
    I --> J[샌드위치 강건 표준오차<br/>+ 카이제곱 CLT 다중성 보정]
    J --> K[근사 랭킹·신뢰구간<br/>리더보드]
    F --> L[이상 사용자 탐지<br/>Fisher 결합검정 + Bonferroni]
    L -.제외.-> H
    K -->|CI 폭 감소 기준| B

재현성 및 신뢰도 평가

항목	평가	근거
데이터 공개	🟢	10만+ 쌍대비교 선호 데이터셋 공개 약속·실제 공개(LMSYS), LMSYS-Chat-1M 전례
코드 공개	🟢	플랫폼·통계 코드 오픈소스 약속, 데모 chat.lmsys.org 공개
통계 방법 명세	🟢	BT·샌드위치·능동표집·이상탐지 수식과 부록 증명 제시
실험 재현성	🟡	라이브 크라우드 데이터라 정확한 재실행 불가, 다만 213,576표 리플레이·시뮬레이션 제공
결과 일반화	🟡	사용자층 편향(애호가·연구자), 영어 77% 편중, 채팅 인터페이스 한정
평가 객관성	🟡	전문가가 저자 소속 대학원생 2명뿐, 표본 160 battle로 소규모

종합 등급: Evidence-Quality B / Reproducibility B — 통계 방법론이 엄밀하고 데이터·코드를 공개하나, 라이브·크라우드 특성상 정확한 재현이 어렵고 검증 표본·전문가 수가 제한적이다.

주장별 신뢰도

🟢 크라우드 투표가 전문가 평가와 잘 일치한다(일치율 72.8~83.1% vs 전문가 간 79.4·89.8%) — 표본은 작으나 일관됨.
🟢 능동 표집이 랜덤보다 표본효율이 좋다(win matrix 0.2 정밀도에 54% 적은 표본) — 리플레이로 입증.
🟡 프롬프트가 “실세계 사용을 반영”한다 — 다양성(600 클러스터)은 보였으나 사용자 편향으로 대표성은 부분적.
🟡 이상 사용자 탐지가 효과적 — 참양성 90%지만 참음성 60~70%, 표본 25+25로 소규모.

축	Chatbot Arena (本)	MT-Bench (Zheng 2023b)	AlpacaEval (Li 2023)	MMLU (Hendrycks 2020)
핵심 접근	라이브 크라우드 쌍대비교 + BT 랭킹	80개 멀티턴 질문 GPT-4 심판	자동 GPT-4 평가 승률	객관식 정답 정확도
문제 정의	개방형 인간선호 정렬	LLM 심판으로 인간평가 근사	지시따르기 자동평가	57과목 지식·추론
데이터	라이브·신선·크라우드(240K 투표)	정적 80문항	정적 805문항	정적 객관식
핵심 결과	gpt-4-turbo #1, 전문가 일치 검증	GPT-4 심판 인간 일치 ~80%	사람 선호와 높은 상관	모델 지식 벤치마크화
규모	50+ 모델, 90K 사용자, 100+ 언어	단일 평가셋	단일 평가셋	15,908 문항
한계	사용자 편향·안전성 미평가·영어 편중	정적·소규모·심판 편향	정적·심판 편향·길이 편향	오염·개방형 미포착
코드 공개	🟢 오픈소스	🟢	🟢	🟢

원자적 인사이트 (Zettelkasten)

💡 절대 점수 대신 쌍대비교로 크라우드 채점 노이즈를 줄인다

출처: Chatbot Arena (2403.04132), §3.1 Interface
유형: 방법론 원리
여러 사람에게 일관된 채점 루브릭을 강제하기는 어렵다. “둘 중 더 나은 것 하나 고르기”로 바꾸면 개인별 점수 기준 차이를 우회하면서도 모델 간 상대 우열 신호를 안정적으로 얻는다. 무승부·둘 다 별로 옵션으로 강제 선택의 잡음도 흡수한다.
연결: Bradley-Terry 모델, RLHF 보상모델

💡 Elo가 아니라 Bradley-Terry 계수를 점수로 써야 통계적 추론이 된다

출처: Chatbot Arena (2403.04132), §4
유형: 통계적 선택
Elo는 온라인 업데이트 휴리스틱이라 신뢰구간·다중성 보정을 붙이기 어렵다. BT 계수는 정적 MLE라, 모델 오지정에도 샌드위치 공분산으로 점근 정규성을 보장하고(Huber·White), 카이제곱 CLT로 랭킹에 동시 커버리지를 줄 수 있다.
연결: 샌드위치 추정량, 다중성 보정

💡 신뢰구간 폭 감소량에 비례한 능동 표집이 표본효율을 끌어올린다

출처: Chatbot Arena (2403.04132), §5 식(9), Figure 7
유형: 실험 설계
모든 모델 쌍을 균등 표집하면 이미 우열이 분명한 쌍에 표를 낭비한다. 각 쌍을 뽑았을 때 CI가 줄어드는 양에 비례해 표집하면(불확실성 높은 비슷한 실력 쌍에 집중), win matrix 0.2 정밀도를 랜덤 대비 54% 적은 표본으로 달성한다.
연결: 온라인 실험 설계, Active Learning

💡 교환가능성 p-value + Fisher 결합검정으로 이상 투표자를 잡는다

출처: Chatbot Arena (2403.04132), §5.1 식(10)
유형: 이상 탐지
새 사용자의 평점을 같은 대전의 역사적 평점 분포와 비교해 교환가능성 귀무가설 아래 유효 p-value를 만들고, 무작위 시점들에서 Fisher 결합 + Bonferroni 변형으로 순차 검정한다. 시점을 무작위화해 어뷰저의 p-value 해킹을 막는 것이 영리한 설계점이다.
연결: 순차 검정, E-value

핵심 용어 정리

용어	설명
쌍대비교(Pairwise comparison)	두 응답을 나란히 놓고 더 나은 하나를 고르게 하는 평가 방식. 절대 점수 부여의 기준 불일치를 회피한다.
Bradley-Terry(BT) 모델	모델 m이 m’를 이길 확률을 로지스틱 $1/ (1 + e^{ξ_{m^{'}} - ξ_{m}})$ 로 두고 BT 계수 $ξ$ 를 MLE로 추정하는 쌍대비교 통계 모델.
Win matrix	$θ^{*} (a) = E [H_{t} ∣ A_{t} = a]$ . 모델 쌍 a에서 사람이 두 번째 모델을 선호할 확률 행렬.
샌드위치(robust) 표준오차	모델이 잘못 지정돼도(misspecification) 점근적으로 타당한 표준오차를 주는 강건 공분산 추정(Huber 1967, White 1982).
다중성 보정(Multiplicity correction)	여러 모델 점수를 동시에 신뢰구간에 담아 랭킹 전체에 $1 - α$ 동시 커버리지를 보장(카이제곱 CLT).
능동 표집(Active sampling)	CI 폭 감소량에 비례해 모델 쌍을 골라 보여주는 표집 규칙(식 9)으로 랭킹 수렴을 가속.
교환가능성(Exchangeability)	관측 순서를 바꿔도 결합분포가 불변. 이상 사용자 p-value의 타당성 근거가 되는 귀무가설 조건.
BERTopic	임베딩→차원축소(UMAP)→밀도클러스터링(HDBSCAN)으로 토픽을 잡는 신경 토픽 모델링. 600개 프롬프트 클러스터 식별에 사용.

BibTeX

@article{chiang2024chatbot,
  title={Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference},
  author={Chiang, Wei-Lin and Zheng, Lianmin and Sheng, Ying and Angelopoulos, Anastasios Nikolas and Li, Tianle and Li, Dacheng and Zhu, Banghua and Zhang, Hao and Jordan, Michael I. and Gonzalez, Joseph E. and Stoica, Ion},
  journal={arXiv preprint arXiv:2403.04132},
  year={2024},
  url={https://arxiv.org/abs/2403.04132}
}

Chatbot Arena: 인간 선호 기반 LLM 평가를 위한 오픈 플랫폼

Chatbot Arena: 인간 선호 기반 LLM 평가를 위한 오픈 플랫폼

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 절대 점수 대신 쌍대비교로 크라우드 채점 노이즈를 줄인다

💡 Elo가 아니라 Bradley-Terry 계수를 점수로 써야 통계적 추론이 된다

💡 신뢰구간 폭 감소량에 비례한 능동 표집이 표본효율을 끌어올린다

💡 교환가능성 p-value + Fisher 결합검정으로 이상 투표자를 잡는다

핵심 용어 정리

관련 연구

태그

BibTeX