014 - False Discovery Rates, FDR, clearly explained

💡

FDR is a tool to weed(filter) out bad(type I error) data that looks good.

쥐의 RNA 서열을 분석할 거다. “wild” : “normal”

측정은 항상 정확할 수 없기에, 조금끼 다를 것이다.

반복해서 해보면,

그리고 여기서 각각의 데이터는

이러한 전체 분포에서 각각의 부분에 해당하겠지.

Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

.png)

이제 3마리의 쥐에서 RNA-sequencing을 했다고 해보자.

전부 평균에 비슷하니, 분포의 중앙에서 기인했다고 볼 수 있겠지.

추가로 다른 세 마리에 대해 실험을 했다고 해보자.
역시 마찬가지로, 분포 중앙에서 기인했다고 볼 수 있을 것이다.

만약 이 두 샘플들(sample 1 & 2, 각 세 마리)에 대해 통계 검증을 해보면, p-value는 클 것이다.
두 집단의 평균이 모평균에 근처에 위치하여, 평균값만으로는 두 값이 각각 다른 분포에서 기인했다고 보긴 어려울 테니.

아주 우연하게도 아래와 같이 샘플들이 뽑혀, 표본 평균 간 차이가 각각 다른 두 집단에서 기인했다고 볼 수 있을 만큼 차이가 날 수도 있다. 이때, p-value는 작을 것이다. 이러한 것을 false-positive라고 한다. (type I error) : 5% 유의 수준으로 검증을 했다면, 그 5%에 실제 해당하는 케이스

Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

1.png)

.05 수준 통계 검증을 했다면, false-positive는 5% 내이겠지.
일반적으로는 크지 않은 수치이지만, 세포의 수를 실제 고려하면 꽤 상당한 수이다.
→ domain에 따라서 5%의 수치도 critical 할 수 있는데, 이를 줄이기 위해 여러 방법들이 존재.

• FDR하면 비율 그 자체를 말하는 거라, 실제로는 false positive의 비율을 말하는 것이지만, 관례적으로 이를 를 줄이기 위한 방법을 말하기도 한다.
  e.g. Benjamini-Hochberg method(BH method) 등

• 중간 복습

  

  비슷한 방법으로 이를 반복해서 p-value를 많이 뽑아보면..

  이를 histogram으로 표현하면,

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

  2.png)

  p-value가 .05 수준에서 유의한, .05보다 작은 경우가 510 경우(1만 p-value 중)

  20개의 bin 안에는 각각 5%씩 들어가 있다. (uniform distribution)

  

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(2

  .png)

  distribution이 uniform하기 때문에, p-value를 만들 때, 각 bin에 들어갈 확률이 동일하다.(20개의 bin이니, 대략 5%)

  이번에는 반대로, 각 샘플들을 다른 분포에서 뽑아 p-value를 구해보자.
  (실제로 값이 낮게 나오겠지. 진짜 다른 분포에서 뽑아 왔으니.)

  

  그러면 p-value 자체의 분포도 아래와 같이 될 것이다.(p-value가 작아질 경우가 더 많다.)

  

  

  p-value가 유의 수준보다 크다 : 두 샘플이 같은 분포에서 기인했다. → 실제로는 그렇지 않은데(True) 영가설을 기각하지 못했으니, false negative : type II error

  Transclude of False_Discovery_Rates_Notes_Screenshot_(1

  .png)

이제 약효를 평가하기 위한 실험을 가정해보자.
1만개의 유전자를 관찰할 거다.

black: control / red: treat group

만약, 실제로 약이 1천개의 유전자에는 작용을 했고, 나머지 9천개에는 작용하지 않았다면,
각각은 아래와 같은 분포를 따를거고,

실제 우리가 얻을 수 있는 분포는 아래와 같이 두 분포가 합쳐진 형태일 거다.

Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

3.png)

전체 p-value 분포는

이렇게 각 부분에서 기인할 거고.

그래서 이렇게 cutoff 할 지점으로 사용할 수 있다.(eye-ball method)

실제 사용하는 유의 수준인 .05에서는 이 부분이 중요하겠지.

Transclude of False_Discovery_Rates_Notes_Screenshot_(1

1.png)

Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

4.png)

위에서 .05 bins에 해당하는(영가설 기각) p-value들은 true positive와 false positive인데, 이걸 분리하는 방법은 단순히 더 낮은 값들만 취하는 것.

• 이게 왜 가능하지?

  Transclude of False_Discovery_Rates_Notes_Screenshot_(2

  .png)

  

  

• BH method

  Transclude of False_Discovery_Rates_Notes_Screenshot_(3

  .png)

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(3

  .png)

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(4

  .png)

  Transclude of False_Discovery_Rates_Notes_Screenshot_(4

  .png)

  

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(1

  5.png)

  

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(3

  1.png)

  current p-value: 0.81 / total #: 10 / rank: 9

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(4

  1.png)

  반복…

  Transclude of False_Discovery_Rates_Notes_Screenshot_(1

  2.png)

  Transclude of False_Discovery_Rates_FDR_Notes_Screenshot_(5

  .png)
  💡

  mldl 때에는 반대로 threshold를 낮추는 방법을 사용했는데, 비교해볼 것.