SemEval-2017 Task 1: 의미적 텍스트 유사도 - 다국어 및 교차언어 중심 평가

Digest: 의미적 텍스트 유사도(STS, Semantic Textual Similarity)는 두 문장 간 의미적 유사성을 0-5 연속 척도로 측정하는 회귀(regression) 과제로, 기계 번역, 요약, QA 등의 기반 기술이다. Cer 등은 SemEval STS 공유 과제(2012-2017)의 6년간 축적된 데이터를 정선하여 **STS Benchmark(STS-B)**를 구축했다. 2017년 대회에서는 다국어(아랍어, 스페인어)와 교차언어 트랙을 새로 도입하여 총 31개 팀이 참가했다. STS-B는 이미지 캡션, 뉴스 헤드라인, 포럼 등 8개 도메인에서 약 8,628개 문장 쌍을 포함하며, 평가 지표로 **피어슨 상관계수(Pearson r)**를 사용한다. GLUE 벤치마크에 포함되면서 NLU 모델의 의미 이해 능력 평가의 표준이 되었다. 한계점으로는 연속 척도의 주관성(주석자 간 편차), 짧은 문장 위주의 구성, 도메인 다양성이 8개로 제한적이라는 점이 있다. 미해결 질문은 5점 척도가 의미적 유사성의 연속적 특성을 충분히 포착하는지, 그리고 교차언어 STS가 번역 품질에 얼마나 의존하는지이다.

섹션별 요약

Introduction

STS는 2012년부터 SemEval의 주요 공유 과제로 운영되어 왔으며, 매년 새로운 데이터와 트랙이 추가되었다. 2017년에는 다국어와 교차언어 평가를 중점으로 확장.

Methods

STS-B 구축: 2012-2017년 STS 데이터에서 품질이 높은 문장 쌍을 선별. Train/Dev/Test 분할 고정.

8개 도메인: 이미지 캡션, 뉴스 헤드라인, 포럼 게시물, 뉴스, 워드넷 정의, 위키피디아 등.

평가: 피어슨 상관계수(Pearson r)로 모델 예측과 인간 판정 간 상관 측정. 스피어만 상관도 보조 지표로 사용.

Results

2017년 대회에서 상위 팀들이 영어 STS에서 Pearson r 0.85+ 달성. 교차언어 트랙에서는 성능이 상대적으로 낮아 교차언어 의미 이해의 어려움을 보여줌.

Insights

주목할 점: 6년간 축적된 데이터를 통합한 벤치마크 설계가 장기 연구 일관성을 보장.
연결 고리: STS-B → GLUE/SuperGLUE → Sentence-BERT 등 문장 임베딩 평가의 핵심.
비판적 코멘트: 5점 척도의 간격이 균등한지, 3점(부분 유사)의 해석이 주석자마다 다를 수 있음.

메타데이터

항목	내용
제목	SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation
저자	Daniel Cer, Mona Diab, Eneko Agirre, Iñigo Lopez-Gazpio, Lucia Specia
소속	Google, GWU, UPV/EHU, U. of Sheffield
연도	2017
발표	SemEval 2017 (ACL Workshop)
링크	arXiv, STS Wiki
키워드	STS, semantic similarity, regression, multilingual, benchmark

방법 (Method)

프레임워크 개요

graph TB
    A["SemEval STS 2012-2017<br/>6년간 데이터 축적"] --> B["품질 기반 선별"]
    B --> C["STS Benchmark<br/>(~8,628쌍)"]
    C --> D["8개 도메인<br/>(캡션/뉴스/포럼 등)"]
    D --> E["0-5 연속 척도<br/>유사도 라벨"]
    E --> F["평가: Pearson r<br/>(모델 vs 인간)"]

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	평가 스크립트 공개
데이터 공개	✅	GLUE를 통해 접근 가능
하이퍼파라미터	N/A	데이터셋 논문
실험 환경	✅	공유 과제 형식으로 재현 가능
통계적 신뢰도	✅	31개 팀의 다중 제출 결과
종합 등급	A

주장별 신뢰도

#	주장	근거	신뢰도
1	STS-B가 의미 유사도 평가의 표준 벤치마크 역할	GLUE 채택, 광범위한 후속 사용	🟢
2	교차언어 STS가 새로운 도전 과제	교차언어 트랙의 성능 저하로 입증	🟢

읽기 난이도: ⭐⭐

STS 개념과 상관계수만 이해하면 충분. 공유 과제 형식에 익숙하면 더 용이.

축	STS-B (본 논문)	SICK-R (2014)	MRPC (2005)
핵심 접근	6년 데이터 통합	이미지 설명 기반	뉴스 패러프레이즈
과제 형태	0-5 회귀	0-5 회귀 + 함의	이진 분류
데이터 규모	~8,628쌍	~10K	~5.8K
도메인 수	8개	1개	1개 (뉴스)
평가 지표	Pearson r	Pearson r	F1/Accuracy

원자적 인사이트 (Zettelkasten)

💡 장기 공유 과제의 데이터 축적은 고품질 벤치마크 구축에 효과적이다

출처: SemEval-2017 Task 1 - Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation (Cer et al., 2017)
유형: 방법론적

STS는 6년간 공유 과제를 운영하며 다양한 도메인의 데이터를 축적하고, 이를 통합 벤치마크로 정선했다. 이 접근은 단일 시점 데이터 수집보다 도메인 다양성과 품질 일관성을 보장한다.

핵심 조건/맥락: 장기간 커뮤니티 참여와 일관된 주석 가이드라인이 전제조건.
연결: GLUE/SuperGLUE가 STS-B를 포함한 벤치마크 통합 방식 채택
활용 가능성: 새로운 NLU 과제의 벤치마크 설계 시 장기 공유 과제 운영의 장점.

핵심 용어 정리

용어	정의
STS (Semantic Textual Similarity)	두 문장 간 의미적 유사도를 연속 척도로 측정하는 과제
STS-B (STS Benchmark)	SemEval STS 2012-2017 데이터를 통합한 표준 벤치마크
Pearson r (피어슨 상관계수)	두 변수 간 선형 상관 정도를 -1~+1로 측정하는 지표
교차언어 STS (Cross-lingual STS)	서로 다른 언어의 문장 쌍 간 의미 유사도 측정
SemEval	의미 평가를 위한 국제 공유 과제 (ACL 워크숍)

Juhyeon's Blog

탐색기

SemEval-2017 Task 1 - Semantic Textual Similarity Multilingual and Crosslingual Focused Evaluation