Summary
i.i.d. 는 표본 이 (1) 서로 독립(independent) 이고 (2) 모두 같은 분포(identically distributed) 를 따른다는 가정이다. “같은 공장에서, 서로 영향 없이, 하나씩 찍혀 나온 제품”이라고 생각하면 된다. 통계·머신러닝의 거의 모든 기본 정리가 이 가정 위에 서 있다.
용어 설명
- identically distributed (동일분포): 두 확률변수의 분포(CDF)가 완전히 동일. 값이 같은 게 아니라 확률 규칙이 같음
- independent (독립): 한 변수의 결과가 다른 변수의 결과에 영향을 주지 않음
- i.i.d.: 위 둘을 모두 만족 (independent and identically distributed)
- 분포 (Distribution): 어떤 값이 얼마나 그럴듯한지를 나타내는 규칙. CDF로 표현 (CDF (Cumulative Distribution Function))
- (equal in distribution): “분포가 같다”는 기호.
- distribution shift: train과 test의 분포가 달라져 identically distributed 가정이 깨지는 문제
i.i.d. (Independent and Identically Distributed)
1. 두 글자씩 끊어 읽기
i.i.d.는 사실 두 개의 가정을 합친 말이다.
| 약자 | 영어 | 뜻 | 한 줄 직관 |
|---|---|---|---|
| i.d. | identically distributed | 모두 같은 분포 | ”같은 공장에서 나왔다” |
| i. | independent | 서로 영향 없음 | ”옆 결과를 안 본다” |
이 둘을 합쳐 “같은 공장에서, 서로 영향 없이, 하나씩 뽑은” 데이터가 i.i.d.다.
2. identically distributed — 헷갈리기 쉬운 핵심
가장 흔한 오해: "값이 같다"가 아니다
identically distributed는 분포(CDF)가 같다는 뜻이지, 두 변수의 값이 같다는 게 절대 아니다.
정확한 정의:
CDF가 같으면 → PDF/PMF, 평균, 분산 등 모든 분포적 특징이 같다.
| 구분 | 의미 | 예시 |
|---|---|---|
| 둘이 항상 같은 값 | 같은 주사위를 본 두 사람 | |
| (identically distributed) | 값은 달라도 분포가 같음 | 서로 다른 두 주사위 |
예시로 못 박기
내가 주사위를 굴린 눈 , 친구가 다른 주사위를 굴린 눈 .
- 실제 값: , → 값은 다르다.
- 하지만 둘 다 “1~6이 각각 확률 1/6” → 분포는 똑같다.
- → identically distributed ✅ (그런데 는 ❌)
기억법
“같은 공장에서 찍혀 나왔다.” 제품(값)은 제각각이어도, 만들어내는 규칙(분포) 은 동일하다.
3. independent — 나머지 절반
한 변수의 결과를 알아도, 다른 변수에 대한 예측이 전혀 바뀌지 않는다.
- 내가 굴린 주사위가 6이 나왔다고 해서, 친구 주사위가 뭐가 나올지에 대한 확률이 바뀌지 않는다 → 독립.
- 반대로 identically distributed지만 독립은 아닌 경우도 있다. 예) 같은 카드 더미에서 뽑은 카드를 다시 안 넣고 두 장 뽑기 — 두 장 모두 같은 분포이지만, 첫 장이 둘째 장 확률을 바꾼다 → 동일분포지만 종속.
→ 그래서 두 조건은 별개다. i.i.d.는 둘 다 요구한다.
4. 어디에 쓰나?
i.i.d.는 통계·ML에서 가장 기본이 되는 가정이다.
(1) 표본 추출 (Sampling)
모집단에서 데이터 개를 뽑을 때 을 i.i.d.로 가정한다.
- identically distributed: 전부 같은 모집단에서 나옴 (한 명만 다른 나라 사람이면 깨짐)
- independent: 한 명의 값이 다른 사람 값에 영향 안 줌
(2) 핵심 정리들의 전제 조건
- 중심극한정리 (CLT): i.i.d. 표본의 평균은 정규분포에 근사 → t-test, Confidence Interval의 토대
- 큰 수의 법칙 (LLN): i.i.d. 표본 평균이 진짜 모평균으로 수렴
(3) 머신러닝
- train 데이터와 test 데이터가 같은 분포(identically distributed) 에서 나왔다고 가정해야, 학습한 모델이 test에서도 통한다.
- 이 가정이 깨지는 게 바로 distribution shift 문제다.
5. 30초 요약
- i.i.d. = independent + identically distributed. “같은 공장에서, 서로 영향 없이 뽑은 데이터.”
- identically distributed: 분포(CDF)가 같다 ≠ 값이 같다. (서로 다른 두 주사위)
- independent: 한 결과가 다른 결과 확률을 안 바꾼다. (비복원 추출은 동일분포지만 종속!)
- 쓰임새: 표본 추출 가정, CLT·LLN의 전제, ML의 train/test 동일분포 가정.