[이론] p-value에 관한 고찰

[이론] p-value에 관한 고찰

 

 P-value란 무엇인가?

 의학 및 보건학 논문을 읽다 보면 빠지지 않고 나오는 숫자가 p-value다. 연구를 하는 사람들도 그저 p-value는 0.05보다 작기만을 바라는 경향이 있다. 하지만, p-value에 관한 의미를 정확히 이해하지 못한다면 엉뚱한 결론을 짓는 잘못을 저지를 수도 있다. 따라서 본 포스팅에서는 p-value가 무엇인지 알아보고자 한다.

 

왜 다들 p-value를 이해하려 하지 않을까?

 논문을 쓰는 저자들도, 읽는 독자들도 p-value의 의미를 이해하지 않고 사용하는 경향이 있다. 이는 아마 p-value의 개념 자체가 꽤 복잡하기 때문일 것이다. 본 포스팅이 그 복잡한 내용으로 시작한다면 그들과 똑같은 짓을 하는 것일 테니, 학문적으로 복잡한 내용은 글 말미에 언급하도록 하겠다. 

 

실생활에 존재하는 p-value (One-tailed)

인식은 못하고 있겠지만, 여러분 모두 p-value가 무엇인지 아주 깊이 이해하고 있다. 다음 상황을 보자.

어느 동네에 야바위꾼이 여행객을 유혹한다. 야바위꾼: "동전을 던져 앞면이 나오면 제가, 뒷면이 나오면 당신이 이기는 것입니다. 진 사람은 이긴 사람에게 10,000원을 주면 됩니다." 여행객 A: "내가 하겠소. 10판을 합시다." 야바위꾼은 동전을 10번 던졌고, 앞면이 9회, 뒷면이 1회 나왔다.  야바위꾼: "나에게 80,000원을 주시오." 여행객 A: (돈을 던지며) "이 나쁜 사기꾼아!!"

 누구든 저 여행객 A 입장이 되면 야바위꾼이 사기꾼이라고 생각할 것이다. 놀랍게도 이 짧은 이야기에 귀무가설, 대립 가설, p-value에 관한 내용이 모두 담겨있다. 다시 이야기로 돌아가 왜 여행객 A가 야바위꾼이 사기꾼이라고 생각하게 됐는지 그 사고 과정을 낱낱이 살펴보도록 하자. 여행객 A는 아마 다음과 같은 사고 과정을 거쳤을 것이다.

 

(야바위꾼의 호객행위를 들었을 때)

 - "저 동전은 공정한 동전이라 앞면이 나올 확률이 $1/2$, 뒷면이 나올 확률이 $1/2$일 거야."

 - "10번 던지면 5회쯤은 앞면이, 5회쯤은 뒷면이 나오겠지. 물론 5:5가 아니라 6:4 정도의 결과도 발생할 수는 있겠지. 운이 좋아 뒷면이 6회가 나온다면 내가 20,000원을 따겠구먼."

 

(동전을 던지고 난 뒤)

 - "어떻게 앞면이 9번이나 나올 수가 있어?! 이 정도의 일이 일어날 확률이 얼마나 된다고?!"

 - "분명 저 동전은 일반 동전이 아닐 거야. 앞 면이 더 잘 나오도록 어떤 조치를 취해뒀을 거야."

 

 

이 이야기의 귀무가설, 대립 가설, p-value은 다음과 같다.

귀무가설 : "저 동전은 공정한 동전이라 앞면이 나올 확률이 $1/2$, 뒷면이 나올 확률이 $1/2$일 거야."

대립 가설: "앞 면이 더 잘 나오도록 어떤 조치를 취해뒀을 거야" 

p-value: "이 정도의 일이 일어날 확률"

 

p-value

위 내용에서 "이 정도의 일이 일어날 확률"은 얼마나 될까?

또한,  "이 정도의 일"이란 무엇일까?

 

여행객 A는 앞면이 10회 나왔다면 더 화가 났을 것이다. 앞면이 8회 나온 상황에서도 화가 날 수 있지만, "이 정도의 일"까지는 아닌 것이다. 따라서 "이 정도의 일"이란 "앞면이 10회 나오는 일"과 "앞면이 9회 나오는 일"인 것이다. 이런 확률은 다음과 같이 계산된다.

 

$$\begin{align} P(X=9) &= _{10}C_1  \left( \frac {1} {2} \right)^{10} = \frac {10} {1024} \\ P(X=10) &= \left( \frac {1} {2} \right)^{10} = \frac {1} {1024} \\ \therefore P&= \frac {1+10} {1024} = \frac {11} {1024} \approx 0.0107 \\&& \end{align} $$

 

즉 여행객 A는 1.07%의 확률을 뚫고 일어난 일이 본인에게 발생했다는 것을 믿을 수 없어 "앞 면이 더 잘 나오도록 어떤 조치를 취해뒀을 거야"라는 생각을 하는 것이 합리적이라고 봤을 것이다.

 

 

실생활에 존재하는 p-value (Twe-tailed)

위의 상황은 "one-tailed"의 상황이었다. 이게 뭔지 몰라도 아래 "two-tailed"을 다루는 이야기를 보면 이해가 될 것이다.

어느 동네에 야바위꾼 두 명이 여행객들을 유혹한다. 야바위꾼A: (야바위꾼 B를 보며) "동전을 던져 앞면이 나오면 제(야바위꾼 A)가, 뒷면이 나오면 당신(야바위꾼 B)이 점수 1점을 획득합니다. 10번을 던졌을 때 저희 둘 중 한명이 9점 이상을 얻으면 저희의 승리, 둘 다 8점 이하라면 여행객 여러분들의 승리입니다. 패자는 승자에게 100,000원을 주면 됩니다." 여행객들: "내가 하겠소." 야바위꾼A는 동전을 10번 던졌고, 앞면이 9회, 뒷면이 1회 나왔다.  야바위꾼: "제가 9점을 얻었습니다. 여행객 여러분은 제게 100,000원을 주시오." 여행객들: (돈을 던지며) "이 나쁜 사기꾼아!!"

이 상황에서도 여행객들은 화가 날 것이다. "이런 일"이 일어날 확률이 얼마 되지 않을 테니 사기를 쳤다고 확신할 것이다. 하지만 앞의 상황과는 "이런 일"의 정의가 조금 바뀌게 된다. 동전을 던지고 난 뒤 여행객들의 생각은 다음과 같을 것이다.

 

(동전을 던지고 난 뒤)

 - "어떻게 한쪽이 9번이나 나올 수가 있어?! 이 정도의 일이 일어날 확률이 얼마나 된다고?!"

 - "분명 저 동전은 일반 동전이 아닐 거야. 앞 면이든 뒷면이든 한쪽이 더 잘 나오도록 어떤 조치를 취해뒀을 거야."

 

앞의 상황(one-tailed)에서는 "앞면"이었던 것이 "한쪽"으로 바뀌었다. 누가 이기든 극단적인 양쪽(Two-tailed, two-sided)의 사건이 발생할 확률로 확인하는 것이 양측 검정이다. 

 

P-value의 학술적인 표현

P-value는 다음과 같이 기술할 수 있다. "귀무가설이 맞다고 할 때 이런 현상이 발생했을 확률"

이 정의는 좀 날 것 그대로니 학술적인 수정을 가하면 다음과 같다. "귀무가설이 맞는 데도 불구하고, 대립 가설을 선택했을 확률" 

보통 관련성이 없는 내용을 귀무가설로 설정하므로 "아무 관련성이 없는 게 학문적 진실인데, 관련성이 있다고 결론 내렸을 확률"이라고도 할 수 있다.

 

통계 검정으로의 적용

 P-value=0.01이라고 하자.

  (1) 귀무가설: 독립 변수(X)와 종속 변수(Y) 사이에 아무 관련성이 없다는 것이 사실이라고 했을 때 

  (2) p-value: 지금과 같은 현상이 일어날 확률은 0.01이므로 일어나기 어려운 일이다.

  (3) 대립 가설: 따라서 모종의 관련성이 있다고 하자.

 

아무 관련성이 없다는 말은 분석 방법에 따라 다르게 표현된다.

  (1) 로지스틱 회귀분석에서는 $\beta=0$ 혹은 $OR=1$으로 표현된다.

  (2) 선형 회귀분석에서는 $\beta=0$으로 표현된다.

  (3) Cox 회귀분석에서는 $\beta=0$ 혹은 $HR=1$으로 표현된다.

 

분석 방법에 따라 귀무가설이 표현되는 방법은 서로 다르다.

 

통계 검정으로의 적용 - 예외

다음 세 가지 분석은 다른 분석과는 다르게 귀무가설이 채택되기를 바라는 분석이다.

1) 정규성 검정 (Normality test): Shapiro-Wilk test, Kolmogorov-Smirnov test

2) Ordinal logistic regression의 proportional odds assumption 검정인 Score test

3) Cox regression의 proportional hazard assumption 검정인 Schoenfeld residual test

 

각 통계분석의 귀무가설은 다음과 같다.

 1) 데이터가 정규성을 따른다.

 2) Proportional odds assumption을 만족한다.

 3) Proportional hazards assumption을 만족한다.

 

즉 p-value가 0.05보다 작은 경우 귀무가설을 기각할 수 있으므로 정규성을 따르지 않는다거나, proportional odds/hazard를 만족하지 않는다고 할 수 있다. 하지만 p-value가 0.05보다 큰 경우 귀무가설을 기각할 수는 없다. 하지만 이 말이 귀무가설이 맞다는 말이 아니므로 정규성을 만족한다든가, proportional odds/hazard를 만족한다고 할 수는 없는 것이다. 이 점에 유의하며 p-value를 해석해야 한다. 따라서 우리가 통계 검정을 할 때에는 귀무가설이 무엇인지, 대립 가설이 무엇인지 항상 생각해야 한다.

 

 

[이론] P-value 정복 완료!

 

작성일: 2022.09.05.

최종 수정일: 2022.09.05.