하비 모툴스키가 쓴 <직관으로 배우는 생물통계학: 통계적 사고에 대한 비수학적 안내서>는 수학이나 통계학을 전공하지 않은 연구자가 공부하게 좋은 교과서로 올초 3판까지 나왔다. 45장에 '피해야 할 통계의 덫'이라는 제목으로 열두 가지를 언급해두었다. 시간이 나는대로 하나씩 모두 옮겨두려고 한다.


덫 #1: 효과 크기보다 P 값과 통계적 유의성에 집중하기


P 값과 통계적 유의성에 대한 결론이 유용할 수도 있지만, P 값과 함께 제시된 여러 별표보다 통계에는 더욱 중요한 것들이 있다. 차이 또는 연관성의 크기를 뜻하는 효과 크기에 집중해야 한다. 차이 또는 연관성이나 상관성(효과)이 관심을 가질만큼 충분히 큰가? 효과가 신뢰구간으로 평가했을 때 충분한 정밀도로 결정됐는가? 표본수가 엄청나게 많다면, 작은 효과도 통계적으로 유의하지만 무의미할 지도 모른다. 표본수가 작다면, 충분한 정밀도로 효과를 결정하지 못하여 어떤 유용한 결론을 내리지 못할 수도 있다.


Gelman (2013)은 통계적 유용성이라는 문구에 정신이 팔리지 않도록 영리한 접근을 제안하고 있다. Gelman은 표본수가 엄청나게 많은 경우("수천억")를 상상해보자고 제안하고 있다. 이 경우, 결국에는 모든 효과가 통계적으로 유의하게 되지만, 대부분은 사소할 것이고, "통계적 유의성에 대한 결론을 무시하고 대신 실제로 무엇에 관심을 가져야 하는지를 생각할 필요가 있게 될 것이다".


Gelman, A. (2013). Don't let your standard errors drive your research agenda. Statistical Modeling, Causal Inference, and Social Science (blog).


Posted by cyberdoc
: