015 - Statistical Power, Clearly Explained!!!

💡

Power is the probability that we will correctly reject the Null hypothesis.

시단을 control 조건으로 해서 쥐를 두 집단으로 나누었고, 각 집단 쥐들의 몸무게 분포를 그리면 위와 같이 구분하기 쉽다.

각 집단에서 세 마리씨 표본을 뽑고, 각 표본의 평군을 구해서 p-value 비교해보면, 아래와 같다.

p-value가 유의 수준으로 잡혀서 영가설을 기각 즉, 두 표본들은 각각 다른 모집단에서 왔을음 통계적으로 유의미하게 추정할 수 있다.

다른 한 편 만약, special, normal 모집단 사이 다른 분포가 모든 표본 데이터(3+3=6개)가 자신으로부터 왔다고 한다면,

작은 p-value가 영가설을 기각한다고 하겠지.

만약 우리가 이 실험을 반복적으로 한다면,

높은 확률로 낮은 p-value를 관찰할 수 있을 거다. (실제로는 다른 분포의 두 집단에서 기원했으니까.)
→ 다른 표현으로는, 높은 확률로 영가설을 기각할 수 있을 것이다. (대부분의 경우에 대해.)

하지만, 우연히(낮은 확률로)

이런 식으로 데이터가 추출될 수 있는데, 이러한 경우에는 p-value가 크다. 즉, 영가설을 기각하기 어려운 경우이다.

이렇게 반복 검증데 대해서, 검정력(power)는 영가설을 정확하게 기각할 확률을 의미한다.

또한, 검정력은 정확하게 낮은 p-value를 얻을 수 있는 확률이라고도 한다.

위 사진과 같은 경우, 정확하게 낮은 p-value를 뽑은 경우가 더 많으니(파란), power는 큰 값을 가진다.

만약, special과 normal 집단 간 차이가 없고 같은 분포를 공유하는 상황을 가정해보자.

그리고 각 분포에 대해 표본 추출을 한다면,

Transclude of Statistical_Power_Notes_Screenshot_(1

.png)

이 상황에서는 영가설이 옳을 것이다. 때문에, “정확하게 영가설을 기각”에 해당하는 상황이 발생하지 않으므로(앞 경우의 파란색) 검정력 개념이 이 상황에 적용되지 않는다.

다른 상황으로 만약 뚜렷하진 않지만, 약갼의 차이라도 두 분포 간 존재하는 것이 확인된다면,

이 부분들이 검정력을 설명한다.

각각의 분포에서 표본들을 추출하여 p값을 계산하면, 영가설 기각에 실패하는데, 이는 곧 두 표본들이 같은 분포로부터 깅인했다는 걸 의미한다.

이 경우, 우리는 실제로 두 표본이 다른 분포로 부터 기인했다는 것을 알기 때문에 위의 상황이 틀렸다는 것을 알고 있다.

일단 반복해서 표본을 추출해보면, 대부분의 경우는 위와 동일한 즉, 다른 집단에서 기인했지만, 통계적으로는 같은 분포에서 기인했을 확률이 높다고 판단하는 p값이 크고, 영가설을 기각하지 못하는 상황일 것이다. 하지만, 반복하다보면 확률적으로 아래 상황과 같이, 다른 분포에서 기인했다고 판단하는 즉, p값이 작은 경우를 발견할 수 있을 것이고 이는 두 표본이 각각 다른 분포로부터 기인했다라고 할 수 있는 근거를 제시하는 셈이다.

Transclude of Statistical_Power_Notes_Screenshot_(2

.png)

그리고 이 경우, 빨간색(type2 err, fn)과 파란색(tp) 경우의 비율이 작으므로, 검증력이 약하다고 한다.

💡

우리는 항상 관찰(observation) 수를 늘리면 검증력을 올릴 수 있다.(한 시행 당 뽑는 표본의 크기)

검증력 분석이 표본의 크기를 알려준다!!

Transclude of Statistical_Power_Explained_Screenshot_(1

.png)