More human than human - measuring ChatGPT political bias
10분 분량
Introduction
ChatGPT와 같은 LLM이 사실 정보 검색 및 콘텐츠 생성에 널리 사용되면서, 이러한 모델이 특정 정치적 편향(political bias)을 내포할 가능성에 대한 우려가 커지고 있음
기존 연구들은 인터넷과 소셜 미디어가 정치적 양극화(political polarization)에 기여한다는 것을 보여주었으며, LLM이 이를 확장하거나 증폭시킬 수 있다는 점이 핵심 문제로 부상
본 연구는 ChatGPT(GPT-3.5)의 정치적 편향을 측정하기 위한 새로운 실증적 설계(empirical design)를 제안하며, Political Compass Test를 활용하여 경제적 축(economic axis)과 사회적 축(social axis)에서의 편향을 정량적으로 분석
미국, 브라질, 영국 3개국의 정치적 맥락에서 ChatGPT의 기본 응답(default response)이 좌파-자유지상주의(left-libertarian) 성향에 체계적으로 치우쳐 있음을 발견한 최초의 대규모 연구
연구 결과는 정책 입안자, 미디어, 정치계, 학계 이해관계자에게 LLM 편향의 실제적 함의를 제시
Related Papers
The Political Orientation of the ChatGPT AI System (Rozado, 2023): ChatGPT에 15개 정치 성향 테스트를 적용하여 좌파-자유지상주의 성향을 확인한 초기 연구. 약 30% left-wing, 45% liberal로 분류됨
Revisiting the Political Biases of ChatGPT (Fujimoto & Takemoto, 2023): 7개 정치 성향 테스트를 GPT-3.5-turbo에 적용, 영어와 일본어 간 편향 차이를 분석. 언어에 따라 정치적 편향이 달라질 수 있음을 보여줌
Is GPT-4 Less Politically Biased than GPT-3.5? (Weber et al., 2024): GPT-3.5의 Political Compass 점수를 Economic -6.59, Social -6.07로 측정하였으며, GPT-4에서 편향이 다소 감소(Economic -5.40, Social -4.73)했음을 확인
The Self-Perception and Political Biases of ChatGPT (Rutinowski et al., 2024): ChatGPT의 정치적 자기 인식과 편향을 분석하여 좌파-자유지상주의 성향을 재확인한 연구
Methods
사용 모델 및 시기: ChatGPT GPT-3.5 버전 (2023년 봄 데이터 수집)
측정 도구: Political Compass Test — 62개 문항, 각 4개 응답 옵션으로 구성된 온라인 설문. 경제적 축(좌-우)과 사회적 축(권위주의-자유지상주의)의 2차원으로 정치 성향을 측정
경제적 축: 음수값 = 좌파(left), 양수값 = 우파(right)
사회적 축: 음수값 = 자유지상주의(libertarian), 양수값 = 권위주의(authoritarian)
Impersonation Design: ChatGPT에게 특정 정치적 성향의 인물을 impersonate하도록 요청한 뒤, 해당 응답을 기본 응답(default)과 비교
미국: Democrat vs. Republican impersonation
브라질: Lula(좌파) vs. Bolsonaro(우파) impersonation
영국: Labour Party vs. Conservative Party impersonation
반복 측정: 텍스트 생성의 확률적 변동성(randomness)을 통제하기 위해 동일 문항에 대해 100회 반복 응답 수집, 매 라운드마다 문항 순서를 무작위화(randomized)
Dose-Response Test: 극단적(radical) 정치적 입장을 impersonate하도록 요청하여 편향의 강도 변화를 관찰
Placebo Test: 정치적으로 중립적인(politically neutral) 질문을 사용하여 편향이 정치적 문맥에 한정됨을 확인
Profession-Politics Alignment Test: 다양한 직업군의 인물을 impersonate하도록 하여 직업-정치 성향 상관관계를 검증
방법론 다이어그램
graph TD
A[Political Compass Test<br/>62 문항] --> B[ChatGPT GPT-3.5에<br/>질문 제시]
B --> C{Impersonation 조건}
C --> D[Default<br/>기본 응답]
C --> E[좌파 Impersonation<br/>Democrat/Lula/Labour]
C --> F[우파 Impersonation<br/>Republican/Bolsonaro/Conservative]
D --> G[100회 반복 수집<br/>문항 순서 무작위화]
E --> G
F --> G
G --> H[1000회 Bootstrap<br/>Resampling]
H --> I[Political Compass 점수 산출<br/>Economic & Social Axis]
I --> J{강건성 검증}
J --> K[Dose-Response Test<br/>극단적 입장 impersonation]
J --> L[Placebo Test<br/>중립 질문]
J --> M[Profession-Politics<br/>Alignment Test]
K --> N[Default 응답이 좌파<br/>impersonation에 더 가까움 확인]
L --> N
M --> N
Results
ChatGPT의 기본 응답(default)은 좌파-자유지상주의(left-libertarian) 사분면에 일관되게 위치하며, 경제적으로 약 30% 좌파, 사회적으로 약 48% 자유지상주의 성향을 보임
미국 맥락: 기본 응답이 Democrat impersonation 응답에 통계적으로 유의하게 가까우며, Republican impersonation 응답과는 유의하게 먼 것으로 나타남
브라질 맥락: 기본 응답이 Lula(좌파 Workers’ Party) impersonation에 가까운 편향을 보이며, Bolsonaro(우파) impersonation과는 뚜렷한 차이를 보임
영국 맥락: 기본 응답이 Labour Party impersonation에 체계적으로 가까운 것으로 확인
Dose-Response Test: 극단적(radical) 정치 입장 impersonation 시 편향이 더 강하게 나타나, 편향의 점진적 변화(dose-response relationship)를 확인
Placebo Test: 정치적으로 중립적인 질문에서는 impersonation 조건 간 유의한 차이가 나타나지 않아, 편향이 정치적 문맥에 한정됨을 확인
Profession-Politics Alignment Test: 다양한 직업군 impersonation 결과가 해당 직업의 실제 정치 성향 분포와 일치하는 경향을 보임
Political Compass 기본 응답 위치 (3개국 비교)
조건
국가
기본 응답과의 관계
편향 방향
Default
미국/브라질/영국
-
Left-Libertarian 사분면
Democrat / Lula / Labour
각국 좌파
Default와 유의하게 가까움
좌파-자유지상주의
Republican / Bolsonaro / Conservative
각국 우파
Default와 유의하게 먼 거리
우파-권위주의
강건성 검증 결과
검증 유형
결과
해석
Dose-Response
극단적 impersonation에서 편향 증가
편향이 단조적(monotonic) 관계를 보임
Placebo
중립 질문에서 조건 간 차이 없음
편향이 정치적 질문에 한정됨
Profession-Politics Alignment
직업별 정치 성향과 일치
Impersonation 설계의 내적 타당도 확인
Discussion
ChatGPT의 정치적 편향은 훈련 데이터(training data)에 내재된 편향 또는 알고리즘적 증폭(algorithmic amplification) 중 하나 이상에서 기인할 수 있으나, 두 요인을 분리하는 것은 향후 연구 과제로 남아 있음
이러한 편향은 사용자의 정치적 견해에 영향을 미칠 수 있으며, 선거 과정(electoral processes)과 정치적 담론에 잠재적 함의를 가짐
주요 한계점:
Political Compass Test는 학술적으로 검증된(validated) 도구가 아닌 대중적 온라인 설문으로, 측정 도구 자체의 타당성에 대한 논의가 필요 (Prof. Nello Cristianini 지적)
ChatGPT GPT-3.5 한 버전에 대한 분석으로, 시간에 따른 모델 업데이트(model update)로 편향이 변화할 수 있음 (후속 연구에서 GPT-4의 편향 감소 확인)
정치적으로 양극화된 질문에 대해 “정답”이 존재할 수 있어, ChatGPT의 응답이 편향이 아닌 사실 반영일 가능성도 있음 (Dr. Stuart Armstrong 지적)
3개국(미국, 브라질, 영국)에 한정된 분석으로, 다른 문화적/정치적 맥락으로의 일반화에는 한계가 있음
기여점: LLM의 정치적 편향을 체계적으로 측정하기 위한 실증적 프레임워크(impersonation design + bootstrap + robustness tests)를 확립하였으며, 연구자들이 편향을 감지하고 측정할 수 있는 공개 분석 도구를 제공
향후 연구 방향: 훈련 데이터 편향과 알고리즘적 편향의 분리, 다국어/다문화 맥락으로의 확장, 모델 업데이트에 따른 편향의 시계열적 변화 추적이 필요