WebShop - Towards Scalable Real-World Web Interaction with Grounded Language Agents

10분 분량

WebShop: 확장 가능한 실세계 웹 인터랙션을 위한 언어 에이전트 벤치마크

Digest: 기존 웹 에이전트 벤치마크는 실세계 언어 요소가 부족하거나 인간 피드백 의존으로 확장이 어려웠다. Princeton의 WebShop은 Amazon에서 수집한 118만 개 실제 상품과 12,087개 크라우드소싱 지시문으로 구성된 시뮬레이션 전자상거래 환경이다. 과제를 POMDP(Partially Observable Markov Decision Process)로 형식화하고, 속성/옵션/가격 일치 기반의 자동 보상 함수로 human-in-the-loop 없이 대규모 학습을 가능케 했다. 핵심 발견은 최고 모델(IL+RL)이 28.7% 성공률로 인간 전문가(59.6%)와 약 30%p 격차(Table 2)를 보이며, 이 격차가 특히 옵션 선택(38.9% vs 73.9%)에서 극대화된다는 것이다. WebShop 학습 에이전트는 실제 Amazon/eBay로의 sim-to-real 전이(Table 5)도 비슷한 성능을 유지했다.

메타데이터

항목내용
제목WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents
저자Shunyu Yao, Howard Chen, John Yang, Karthik Narasimhan
소속Princeton University, Department of Computer Science
연도2022
발표NeurIPS 2022, arXiv:2207.01206
링크arXiv, Website
키워드WebShop, web shopping, grounded language agent, sim-to-real, POMDP

데이터셋 구성

규모 및 환경

항목내용
상품 수1,181,436개 (Amazon 5개 카테고리)
고유 속성670개 (상품당 평균 3.1개)
고유 옵션842,849개 (상품당 평균 0.67개)
지시문 수12,087개 (크라우드소싱)
시연 궤적1,012개 (인간 전문가)
어휘 크기9,036 단어
평균 지시문 길이15.9 단어
평균 상품 텍스트262.9 단어

페이지 유형 및 액션 공간

페이지 유형설명가능한 액션
Search검색창search[query]
Results검색 결과 목록click[item], click[next/prev]
Item상품 상세click[option], click[buy], click[back]
Item-Detail상세 설명click[back]

Feature/Column 구조

필드설명예시
instruction자연어 구매 지시"I need a red cotton t-shirt under $20, size M"
target_product정답 상품 IDB08XYZ123
required_attributes필수 속성["red", "cotton"]
required_options필수 옵션["Size: M"]
max_price최대 가격20.00

실제 데이터 예시

예시 1: 기본 쇼핑

Instruction: "I need a red cotton t-shirt, machine washable,
size medium, price lower than $20"

Agent Trajectory:
> search[red cotton t-shirt machine washable]
> click[item_3]  (결과 페이지에서 3번째 상품 선택)
> click[Size: M]  (옵션 선택)
> click[Buy Now]

Reward: r_type × (|속성 일치| + |옵션 일치| + 가격 조건) / 전체

예시 2: 탐색이 필요한 경우

Instruction: "Find a moisturizing body lotion with aloe vera,
fragrance-free, 16oz or larger"

Agent Trajectory:
> search[moisturizing body lotion aloe vera]
> click[item_1]  (첫 상품 확인)
> click[< Prev]  (조건 불일치, 뒤로가기)
> click[item_5]  (다른 상품 확인)
> click[Size: 16 oz]
> click[Buy Now]

왜 이 연구를 하는가?

핵심 질문

언어 에이전트가 실제 전자상거래 환경에서 복잡한 쇼핑 과제를 수행할 수 있는가?

기존 접근법의 한계

한계설명
저수준 액션MiniWoB 등은 마우스 클릭 좌표 수준의 저수준 액션만 지원
확장 불가WebGPT 등은 인간 피드백 의존으로 대규모 학습 불가
비현실적 데이터합성 상품/가격으로 실세계 복잡성 미반영
단기 과제기존 벤치마크는 단일 페이지 과제 위주

핵심 통찰

실제 상품 데이터와 자동 보상 함수를 결합하면, 인간 피드백 없이도 현실적이고 확장 가능한 웹 에이전트 훈련 환경을 구축할 수 있다. 핵심 병목은 검색 쿼리 재구성과 옵션 선택이다.

방법 (Method)

POMDP 형식화

graph LR
    I["자연어 지시<br/>(instruction)"] --> A["에이전트"]
    A -->|"search[query]<br/>click[button]"| E["WebShop 환경"]
    E -->|"HTML 관찰<br/>(부분 관측)"| A
    E -->|"구매 시"| R["자동 보상 계산<br/>r = r_type · (속성+옵션+가격) / 전체"]

보상 함수 (Equation 1)

  • : 상품 유형 일치 여부 (텍스트 매칭 기반)
  • : 지시문의 필수 속성/옵션
  • : 선택 상품의 속성/옵션

에이전트 아키텍처

graph TB
    subgraph IL["모방 학습 (IL)"]
        BART["BART<br/>(검색 쿼리 생성)"]
        BERT["BERT + ResNet-50<br/>(선택 모델)"]
        CA["Cross-Attention<br/>텍스트-이미지 융합"]
        BART --> |"top-5 beam search"| ENV
        BERT --> CA --> |"액션 점수"| ENV["WebShop"]
    end

    subgraph RL["강화 학습 (IL+RL)"]
        PG["Policy Gradient<br/>+ Value Baseline"]
        ENT["Entropy Regularization"]
        PG --> BERT
    end

    ENV -->|"보상"| PG
에이전트검색선택학습 방식
Rule지시문 그대로 검색첫 번째 상품없음
ILBART fine-tuning (1,421쌍)BERT + Cross-Attention (9,558 샘플)모방 학습
IL+RLBART 고정BERT policy gradientIL → RL fine-tuning

발견 (Findings)

주요 결과 (Table 2)

모델Task ScoreSuccess RateAttributeOption궤적 길이
Rule45.69.6%66.60.03.0
IL59.929.1%69.345.29.4
IL+RL62.428.7%74.038.94.5
Human Expert82.159.6%81.873.911.3
Human Average75.550.0%———

Choice Oracle 결과 (Table 4)

모델일반 SROracle SR
Rule9.6%85.4%
Human Expert59.6%87.8%

→ 선택 행동이 핵심 병목: Oracle로 속성/옵션 정보를 제공하면 Rule도 85.4% 달성

Sim-to-Real Transfer (Table 5)

플랫폼IL Score/SRIL+RL Score/SRHuman Score/SR
Amazon61.5/27%65.9/25%88.2/65%
eBay58.2/21%62.3/21%79.7/40%

핵심 발견

  1. 모델-인간 격차: 최고 모델 29% vs 인간 60%, 약 30%p 격차 (Table 2)
  2. 옵션 선택이 병목: Option Score에서 38.9% vs 73.9%로 가장 큰 격차 (Table 2)
  3. 검색 난이도: 직접 지시문 검색 시 target이 top-10에 포함되는 비율 ~33% (Figure 2)
  4. RL의 탐색-활용 트레이드오프: RL fine-tuning이 에이전트를 “greedy”하게 만들어 궤적 단축(9.4→4.5), 속성↑ 옵션↓
  5. Sim-to-real 성공: WebShop 학습 에이전트가 실제 Amazon/eBay에서 유사 성능 유지 (Table 5)
  6. 사전학습 필수: BERT 초기화 제거 시 성공률 29% → ~10%로 급락 (Figure 4)

이론적 의의

확장 가능한 웹 에이전트 벤치마크의 기준

WebShop은 실제 상품 데이터 + 자동 보상 함수라는 조합으로, 인간 피드백 없이 확장 가능한 웹 에이전트 학습 환경의 패러다임을 제시했다. 이후 AgentBench_2023_AgentEvaluation의 Web Shopping(WS) 환경, WebArena_2023_WebAgent의 쇼핑 태스크에 영향을 주었으며, ReAct(Yao et al., 2023)의 주요 평가 환경으로 사용되었다. 보상 함수의 자동 검증(Pearson r=0.856)은 시뮬레이션 기반 에이전트 평가의 신뢰성을 입증했다.

섹션별 요약

📌 Section-by-Section Summary (접기/펼치기)

§1 Introduction

기존 웹 벤치마크의 한계(저수준 액션, 확장 불가, 비현실적 데이터)를 지적하고, 실제 상품 + 자동 보상의 WebShop을 제안.

MiniWoB, WikiNav, WebGPT 등과의 차별점. POMDP 기반 형식화, 고수준 시맨틱 액션 공간의 장점.

§3 The WebShop Environment

118만 상품, 670 속성, 12,087 지시문. 4개 페이지 유형, search/click 액션. 자동 보상 함수(Eq.1) 설계. Pyserini BM25 검색 엔진.

§4 Methods

Rule baseline, IL(BART+BERT+ResNet-50+Cross-Attention), IL+RL(Policy Gradient) 에이전트 설계. 검색 쿼리 생성과 선택 모델 분리.

§5 Experiments

Table 2: 주요 결과(29% vs 60%). Table 4: Choice Oracle(85.4%). Table 5: Sim-to-real(Amazon/eBay). Ablation: 사전학습, 이미지, 메모리.

§6 Discussion

검색 쿼리 재구성, 전략적 탐색, 노이지 웹 텍스트 이해, 장기 기억이 핵심 과제. 이미지 효과 미미(60.3 vs 60.6).

관련 연구

핵심 용어 정리

용어정의
WebShop118만 실제 상품 기반의 시뮬레이션 전자상거래 웹 에이전트 벤치마크
POMDPPartially Observable Markov Decision Process, 에이전트가 환경의 일부만 관측하는 의사결정 모델
Sim-to-Real Transfer시뮬레이션에서 학습한 정책을 실제 환경(Amazon/eBay)에 적용
Task Score속성·옵션·가격 일치도의 가중 평균 보상 (0-100)
Choice Oracle에이전트에 숨겨진 속성/보상 정보를 제공하는 상한선 실험
IL+RL모방 학습으로 초기화 후 강화 학습으로 fine-tuning하는 2단계 학습

태그

paper #2022 benchmark web_agent WebShop web_shopping sim_to_real NeurIPS Princeton