Sample Size Determination

6분 분량

Summary

Power analysis를 통해 연구 시작 전에 필요한 최소 표본 크기를 결정한다. α, power(1-β), effect size 세 가지를 설정하면 필요 n이 결정된다. 이를 생략하면 underpowered 연구 → 재현 불가 위험.

용어 설명

  • Power analysis (검정력 분석): 연구 시작 전, 원하는 검정력을 확보하기 위해 필요한 최소 표본 크기를 계산하는 절차
  • Underpowered study: 표본이 너무 적어 실제 효과를 탐지할 확률이 낮은 연구. 결과를 신뢰하기 어렵고 재현이 어려움
  • Cohen’s f: ANOVA용 효과 크기 지표. η²에서 변환하여 사용:
  • SESOI (Smallest Effect Size Of Interest): 연구자가 “실용적으로 의미 있다”고 판단하는 최소 효과 크기. Cohen 관례보다 정교한 기준
  • G*Power: 표본 크기 계산에 가장 널리 쓰이는 무료 소프트웨어

Sample Size Determination

기본 원리

수식 변수 풀이

  • : 필요한 표본 크기 (구하고자 하는 값)
  • : 유의수준 — Type I Error 허용 한계 (보통 0.05)
  • power: 검정력 (1 − β) — 효과를 탐지할 확률 (보통 0.80 또는 0.90)
  • effect size: 예상 효과 크기 — 선행 연구나 파일럿에서 추정 (예: d = 0.5)
  • 검정 유형: t-test, ANOVA, χ² 등 사용할 통계 검정에 따라 공식이 달라짐

3개를 고정하면 나머지 1개가 결정된다. → Statistical Power 4원 관계 참조

일반적 설정:

  • α = 0.05
  • Power = 0.80 (또는 0.90)
  • Effect size = 선행 연구, 파일럿, 또는 이론적 근거로 설정

검정별 표본 크기 계산

1. Independent t-test

Effect size (d)αPowern (per group)
0.2 (small)0.050.80394
0.5 (medium)0.050.8064
0.8 (large)0.050.8026
0.5 (medium)0.050.9086

구체적 시나리오

“두 교수법의 시험 점수 차이를 medium effect (d=0.5)로 예상하고, 80% power, α=0.05로 검정하려면?”
→ 각 집단 64명, 총 128명 필요

2. Paired t-test

대응 설계는 개인 간 변동을 제거하므로 더 적은 n 필요:

Effect size (dz)αPowern (pairs)
0.30.050.8090
0.50.050.8034
0.80.050.8015

3. One-way ANOVA

Cohen’s f 사용:

수식 변수 풀이

  • : Cohen’s f — ANOVA용 효과 크기 지표. η²를 변환하여 얻음
  • : Eta-squared — 독립변수가 종속변수 분산의 몇 %를 설명하는지 (예: 0.06 = 6%)
  • 변환 예시: η² = 0.06 → ≈ medium 효과
fη²αPowerk groupsn (per group)
0.10 (small)0.010.050.803322
0.25 (medium)0.060.050.80353
0.40 (large)0.140.050.80322

4. Chi-square test

Cramer’s V 사용:

Cramer’s VdfαPowern (total)
0.1 (small)10.050.80785
0.3 (medium)10.050.8088
0.5 (large)10.050.8032

5. 상관 분석

rαPowern
0.1 (small)0.050.80782
0.3 (medium)0.050.8085
0.5 (large)0.050.8029

Effect Size 설정 전략

effect size 설정이 가장 어려운 부분

방법설명권장도
선행 연구유사 연구의 effect size 참조★★★
파일럿 연구소규모 예비 실험으로 추정★★★
이론적 근거최소 의미 있는 차이(MCID) 기반★★★
Cohen’s 관례small/medium/large 기준★☆☆ (최후 수단)

SESOI (Smallest Effect Size Of Interest)

“이 정도 차이 이하는 실용적으로 의미가 없다”를 정의하고, 그 효과를 탐지할 power를 확보하는 접근. Cohen의 관례적 기준보다 우수.

실제 계산 예시

Implementation 

from statsmodels.stats.power import (
    TTestIndPower, TTestPower, FTestAnovaPower,
    GofChisquarePower
)
 
# === Independent t-test ===
tt = TTestIndPower()
n = tt.solve_power(effect_size=0.5, alpha=0.05, power=0.8,
                   alternative='two-sided')
print(f"Independent t-test (d=0.5): n={n:.1f} per group")
# → 63.8 → 64명/집단
 
# === Paired t-test ===
tp = TTestPower()
n = tp.solve_power(effect_size=0.5, alpha=0.05, power=0.8,
                   alternative='two-sided')
print(f"Paired t-test (dz=0.5): n={n:.1f} pairs")
# → 33.4 → 34쌍
 
# === One-way ANOVA ===
fa = FTestAnovaPower()
n = fa.solve_power(effect_size=0.25, alpha=0.05, power=0.8,
                   k_groups=3)
print(f"ANOVA (f=0.25, k=3): n={n:.1f} per group")
# → 52.4 → 53명/집단
 
# === Chi-square ===
chi = GofChisquarePower()
n = chi.solve_power(effect_size=0.3, alpha=0.05, power=0.8,
                    n_bins=2)
print(f"Chi-square (w=0.3, df=1): n={n:.1f}")
 
# === η² → Cohen's f 변환 ===
import numpy as np
eta_sq = 0.06
f = np.sqrt(eta_sq / (1 - eta_sq))
print(f"η²={eta_sq} → f={f:.3f}")
# → 0.253 (≈ medium)

보고 형식

논문 보고 예시 (APA)

“A priori power analysis using G*Power (Faul et al., 2007) indicated that a minimum sample size of 128 participants (64 per group) was required to detect a medium effect (Cohen’s d = 0.5) with 80% power at α = .05 (two-tailed) for an independent-samples t-test.”

관련 문서