피해야 할 통계의 덫 #8: 변이나 비정상값에 대해 묻지 않고 평균에만 집중하기

피해야 할 통계의 덫 #8: 변이나 비정상값에 대해 묻지 않고 평균에만 집중하기

"수학 성적이 여학생에서 차이가 없다고, 연구 결과 밝혀졌다,"고 뉴욕 타임스 지가 몇 해 전 보도했다(Lewin, 2008). 꼭 그렇지는 않다(Briggs, 2008a). 연구는 남학생과 여학생에서 수학 성적 평균은 본질적으로 차이가 없다는 결과 외에도, 변이는 차이가 있음을 보였다(Hyde 등, 2008). 남학생 성적의 변이가 더 컸고, 상위 1%에는 여학생보다 남학생이 두 배나 많았다. 이 데이터를 충분히 이해하려면, 단지 평균만이 아닌 더 많은 값을 고려해야만 한다. Kane과 Mertz (2012)는 많은 나라에서 얻은 데이터셋을 이용하여 이 맥락의 연구를 계속했고 남학생의 수학 성적이 여학생보다 보편적으로 변이가 더 크지는 않다는 사실을 보였다.

또다른 사례가 있다. 스티븐 제이 굴드는 1870년부터 1970년까지 프로 야구의 변화가 궁금했다(Gould, 1997). 평균 타율이 (약 2할 6푼으로) 일정함에도, 왜 1941년 이후로 4할 타율 타자가 없는가? 평균을 살펴보는 것만으로 충분하지 않다. 굴드는 타율의 표준편차가 (거의 50%까지) 꽤나 떨어졌음을 발견했고, 연구 기간의 전반기 50년 동안 특히 많이 떨어졌다. 굴드는 선수, 코치, 심판, 시설 등이 모두 좀더 일관되기 때문에 변이가 줄어들게 됐다고 결론내렸다. 평균은 변하지 않았고 표준편차는 초기보다 좀더 작아졌기 때문에, 4할이 넘는 타율은 이제 믿을 수 없을 정도로 드물다. 굴드는 변이(표준편차)의 변화를 조사하기 전까지 야구에서 변화를 이해할 수 없었다.

생물학이나 임상 연구에서 변이는 종종 (실험 오류라기보다) 실제 생물학적 다양성을 반영한다. 이러한 다양성에 감사하라! 평균 비교에 매혹되면 안된다. 변이와 극단값에 주목하라. 노벨상은 평균으로부터 꽤 떨어진 값을 가진 개인들의 연구에 수여돼 왔다.

Briggs, W. M. (2008a). On the difference between mathematical ability between boys and girls. William M. Briggs (blog), July 25. Accessed June 21, 2009, from wmbriggs.com/blog/?p=163/.

Gould, S. J. (1997). Full house: The spread of excellence from Plato to Darwin. New York: Three Rivers Press. ISBN=0609801406 (스티븐 제이 굴드, 이명희 옮김, 『풀하우스』, 사이언스북스, 2002년)

Hyde, J. S., Lindberg, S. M., Linn, M. C., Ellis, A. B., & Williams, C. C. (2008). Diversity. Gender similarities characterize math performance. Science, 321, 494-495.

Lewin, T. (2008). Math scores show no gap for girls, study finds. New York Times, July 25. Accessed July 26, 2008, at www.nytimes.com/2008/07/25/education/25math.html.

Kane, J. M., & Mertz, J. E. (2012). Debunking myths about gender and mathematics performance. Notices of the AMS, 59, 10-21.