1858년 런던, 의원들과 관료들의 책상 위에 낯선 그림 한 장이 놓였다. 원을 열두 조각으로 나누고 그 달의 사망자 수만큼 부채꼴을 부풀린 도표였다. 파란 면적은 예방할 수 있었던 전염병으로 죽은 병사, 빨간 면적은 부상으로 죽은 병사. 파란 꽃잎은 종이를 밀어낼 듯 부풀어 있었고 빨강은 그 한가운데 손톱만 하게 웅크려 있었다. 크림전쟁에서 영국 병사를 죽인 것은 러시아군이 아니라는 사실이, 표를 읽을 줄 몰라도 보이는 모양으로 거기 있었다. 그림을 만든 사람은 램프를 든 간호사로 기억되는 여자였다. 그리고 그가 실제로 휘두른 무기는 램프가 아니라 숫자였다.

램프가 아니라 도표였다

플로렌스 나이팅게일이 스쿠타리 병원에서 맞은 첫 겨울에 영국 병사 4,077명이 죽었다. 티푸스와 장티푸스, 콜레라, 이질로 죽은 사람이 전투 부상으로 죽은 사람의 열 배였다. 그의 도표가 찍은 1855년 1월 동방 원정군의 사망률은 연율로 환산해 1,000명당 1,173명. 이 속도가 1년만 유지되면 전군보다 많은 수가 죽는다는 뜻이다.

전쟁이 끝나고 그는 영국군 보건에 관한 방대한 보고서를 썼다. 제목은 '영국 육군의 건강과 효율, 병원 행정에 영향을 미치는 사항에 관한 노트'. 1858년에 나온 이 문서는 통계표를 읽는 훈련을 받지 않은 의원과 공무원을 겨냥해 만들어졌다. 유명한 도표 '동방 원정군 사망 원인 도표'가 실린 것이 이 책이다.

흔히 이 그림을 두고 그가 새 시각화 형식을 발명했다고 말한다. 사실은 그렇지 않다. 극지대 도표는 이미 1829년 앙드레미셸 게리가 '원형 곡선'이라는 이름으로 썼다. '콕스콤'이라는 별명도 도표가 아니라 그 도판이 실린 책자를 가리키던 말이었다. 더 재미있는 것은, 1858년 초에 나온 첫 판본이 사망률을 부채꼴의 반지름 길이에 비례시켜 놓고 면적처럼 읽히게 만든 물건이었다는 사실이다. 과장된 그림이었다. 그는 그해 안에 면적 비례 방식으로 고쳐 그렸다. 나이팅게일이 발명한 것은 도표가 아니다. 도표로 정치를 하는 법, 그리고 자기 도표부터 의심하는 법이었다.

그가 언제 무엇을 깨달았는지는 지금도 학자들이 다투는 문제다. 스쿠타리에 있을 때는 사망 원인을 영양 부족과 탁한 공기, 과로 탓으로 봤고 병원의 생활 조건이 주범이라는 결론은 런던에 돌아와 자료를 파고든 뒤에 나왔다는 것이 오래된 설명이다. 전집을 편찬한 린 맥도널드는 그가 전시에 이미 알고 있었다고 반박한다. 위생 위원회가 하수구를 뚫고 환기를 고치러 도착한 것은 1855년 3월이고 사망률은 그 뒤에 꺾였는데, 그 하락이 위생 개선 덕인지 참호 근무가 줄어서인지조차 아직 정리되지 않았다.

그러니까 이 이야기의 교훈은 '현장에 답이 있다'가 아니다. 현장에서 밤새 램프를 들고 걸어도 보이지 않던 것이, 책상 위에 숫자를 쌓아 놓자 비로소 보였다는 쪽에 가깝다.

그는 1859년 왕립통계학회 최초의 여성 회원이 됐고, 1874년에는 미국통계학회 명예회원이 됐다.

누가 표본에 들어왔는가

숫자가 힘을 가지려면 먼저 모여야 한다. 그런데 데이터가 내 책상에 도착했다는 사실 자체가 이미 어떤 체를 통과했다는 뜻이다.

2차 대전 중 컬럼비아대학에는 통계연구그룹이라는 조직이 있었다. 여기 속한 아브라함 발드는 손상된 전투기 자료를 다루는 여덟 편의 메모를 남겼는데, 그중 다섯 번째가 '생환기의 손상에 기초한 항공기 취약도 추정법'이다. 그가 한 일은 돌아온 비행기의 총알 자국 분포에서, 돌아오지 못한 비행기를 포함한 전체 분포를 역산하는 것이었다. 그리고 그 결과를 장갑판을 어디에 붙일지 정하는 근거로 쓰라고 제안했다.

여기서 한 가지는 짚고 가야 한다. 인터넷에 도는, 붉은 점이 빼곡한 폭격기 그림은 전시 문서가 아니다. 후대에 그려진 삽화이고, 그 그림에 붙은 설명조차 '가상의 손상 패턴'이라고 밝히고 있다. 군이 실제로 발드의 권고대로 장갑을 옮겨 붙였다는 기록도 통상적인 자료에서는 확인되지 않는다. 이야기가 틀렸다기보다, 우리가 아는 판본이 너무 매끈하게 다듬어져 있다.

같은 함정이 훨씬 큰 규모로 터진 적이 있다. 1936년 미국 대선에서 잡지 리터러리 다이제스트는 1천만 장의 모의 투표용지를 뿌려 238만 장을 회수했고, 알프 랜던이 57.08퍼센트로 이긴다고 발표했다. 실제로는 프랭클린 루스벨트가 60.8퍼센트를 얻어 선거인단 523 대 8로 압승했다. 같은 선거에서 조지 갤럽은 5만 명만 물어보고 루스벨트의 승리를 맞혔다.

교과서는 보통 '부자 명부에서 표본을 뽑아서 그렇다'고 설명한다. 그런데 1988년 페버릴 스콰이어가 이 사건을 다시 뜯어본 논문의 결론은 조금 다르다. 표본도 편향됐지만 회신도 편향됐고, 결정적으로 발송한 1천만 명이 전부 답장을 보냈다면 잡지는 최소한 루스벨트의 승리는 맞혔으리라는 것이다. 루스벨트를 싫어하는 사람일수록 봉투를 뜯어 우표를 붙였다. 침묵한 쪽은 집계되지 않았다.

238만은 5만보다 마흔일곱 배 크다. 그리고 마흔일곱 배 더 크게 틀렸다.

같은 데이터로 정반대를 증명하는 법

1973년 UC버클리 대학원 입시 자료를 보면 남성 지원자 8,442명 중 44퍼센트가, 여성 지원자 4,321명 중 35퍼센트가 합격했다. 성차별로 보인다. 그런데 1975년 비켈과 해멀, 오코널이 '사이언스'에 실은 분석은 학과 단위로 쪼갠 자료에서 오히려 여성에게 유리한 방향의 작은 편향을 찾아냈다. 85개 학과 중 여성에게 불리하게 유의미한 곳이 넷, 남성에게 불리한 곳이 여섯이었다. 여성이 경쟁률 높은 학과에 몰려 지원했기 때문이다.

에드워드 심프슨의 1951년 논문에서 이름을 따 심프슨의 역설이라 부른다. 정확히는 콜린 블라이스가 1972년에 붙인 이름이고, 현상 자체는 1903년 율이 이미 지적했다. 신장 결석 치료법을 비교한 자료에서도 같은 일이 벌어진다. 전체로 보면 시술 B의 성공률이 83퍼센트로 A의 78퍼센트보다 높은데, 결석 크기별로 나눠 보면 큰 것에서도 작은 것에서도 A가 이긴다.

역설의 핵심은 수학이 아니라 결정이다. 자료를 합쳐서 볼 것인가 쪼개서 볼 것인가. 어느 변수로 쪼갤 것인가. 그 선택을 내리는 순간 결론은 이미 정해진다. 게다가 '여성이 경쟁률 높은 학과에 지원했다'는 문장은 중립적인 해명이 아니다. 왜 그 학과들만 정원이 부족했고, 왜 여성들이 그리로 몰렸는지는 여전히 답하지 않은 질문으로 남는다. 역설을 풀었다고 생각한 자리에서 진짜 질문이 시작된다.

통계학의 아버지가 틀린 방식

1950년 9월 30일, 리처드 돌과 오스틴 브래드퍼드 힐이 런던의 스무 개 병원 환자를 비교한 논문을 영국의학저널에 실었다. 하루 25개비 이상 피우는 사람의 폐암 위험이 비흡연자의 쉰 배에 이를 수 있다는 내용이었다. 이듬해 두 사람은 영국 의사 40,701명을 등록해 평생 추적하는 연구를 시작했다. 2001년까지 50년을 따라간 최종 보고서는 담배를 계속 피운 남성이 평생 피우지 않은 남성보다 평균 열 살쯤 일찍 죽었다고 적었다.

이 결론에 가장 집요하게 반대한 사람이 로널드 피셔였다. 현대 통계학의 문법을 거의 혼자 만들다시피 한 그 피셔다. 그의 논리는 흠잡을 데가 없었다. 상관은 인과가 아니다. 흡연과 폐암을 동시에 끌어올리는 숨은 제3의 원인이 있다면 이 자료는 아무것도 증명하지 못한다. 논리적으로 맞는 말이었다. 그리고 그는 담배 회사의 유급 자문이었고 파이프 담배를 즐기는 애연가였으며 1959년에는 아예 『흡연: 암 논쟁』이라는 책을 냈다.

통계의 가장 무서운 점은 여기 있다. 조작이 아니라 엄밀함이 사람을 틀리게 만들 수 있다는 것. 피셔는 데이터를 위조하지 않았다. 그는 그저 자기 시대 누구보다 정확하게 회의했고, 그 정확함을 틀린 편에 두었다.

브래드퍼드 힐은 1965년 왕립의학회 회보에 답을 내놨다. 연관에서 인과로 넘어갈 때 살펴야 할 아홉 가지 관점이다. 효과의 크기, 재현성, 특이성, 시간 순서, 용량 반응 관계 같은 것들. 다만 힐 자신은 이것이 체크리스트가 아니라고 못 박았다. 아홉 중 무엇도 반드시 갖춰야 할 조건이 아니며, 어느 것도 논박 불가능한 증거를 주지 않는다. 그는 이렇게 썼다. 인과를 외치기 전에 연관을 들여다봐야 할 아홉 개의 시점일 뿐이라고.

0.05라는 관습

우리가 '유의미하다'고 부르는 그 선은 자연법칙이 아니다. 피셔가 1925년 『연구자를 위한 통계적 방법』에 쓴 문장은 이렇다. P가 0.05가 되는 값은 표준편차의 1.96배, 거의 2배이므로 이 지점을 유의성의 한계로 잡는 것이 편리하다. 편리하다. 그 한 단어가 백 년 동안 과학의 관문이 됐다.

문제는 그 관문을 통과하는 방법이 너무 많다는 것이다. 2011년 시먼스와 넬슨, 시몬손은 연구자가 흔히 누리는 재량 네 가지를 조합하면 거짓 양성률이 61퍼센트까지 치솟는다고 계산했다. 표본을 언제까지 모을지, 종속변수 중 무엇을 보고할지, 조건 하나를 뺄지, 공변량을 넣을지. 그러고는 학부생 20명에게 비틀스의 'When I'm Sixty-Four'를 들려주고 그들이 대조군보다 한 살 반쯤 어려졌다는 결과를 p=0.04로 뽑아 논문에 실었다. 노래는 사람을 어리게 만들지 않는다. 그게 요점이었다.

2005년 존 이오아니디스는 '발표된 연구 결과 대부분은 거짓이다'라는 제목의 논문을 냈고, 2015년 심리학 연구 100편을 그대로 재현해 본 대규모 프로젝트에서는 원래 97편이 유의미했던 것이 36퍼센트만 다시 유의미하게 나왔다. 효과 크기는 평균 절반으로 줄었다. 전임상 암 연구 53편 중에서는 11퍼센트만 결론이 확인됐다는 보고도 있었다.

2016년 미국통계학회는 이례적으로 p값에 관한 공식 성명을 냈다. p값은 가설이 참일 확률이 아니고, 효과의 크기나 결과의 중요성을 재지 않으며, 과학적 결론을 특정 문턱을 넘었는지 여부만으로 내려서는 안 된다는 내용이었다. 2019년에는 800명이 넘는 통계학자와 과학자가 '통계적 유의성'이라는 표현을 아예 폐기하자는 성명에 이름을 올렸다.

무엇을 세지 않을 것인가

여기까지가 숫자로 거짓말하는 법이라면, 진짜 정치는 그 앞 단계에 있다. 애초에 무엇을 셀지 정하는 일이다.

1934년 사이먼 쿠즈네츠는 미국 의회에 국민소득 추계 보고서를 제출했다. 오늘날 GDP라 부르는 것의 조상이다. 그 문서 7쪽에서 그는 이렇게 경고했다. 한 나라의 후생은 국민소득의 측정치로부터 추론되기 어렵다. 발명자 본인이 사용법 주의사항을 첫 페이지 근처에 적어 놓은 셈인데, 이후 90년 동안 아무도 읽지 않았다.

지금도 그렇다. 유조선이 기름을 쏟으면 방제 비용이 GDP를 올린다. 집에서 아이를 키우고 노부모를 돌보는 노동은 GDP에 잡히지 않는다. 같은 돌봄을 돈 주고 맡기는 순간에만 경제가 커진다. 숫자가 거짓말을 한 게 아니다. 우리가 세기로 한 것만 세었을 뿐이다. 세지 않기로 한 것은 존재하지 않는 것과 통계적으로 구별되지 않는다.

그런데 이 글의 결론이 '그러니 통계를 믿지 말자'가 되면 곤란하다. 정반대다. 나이팅게일의 부채꼴이 이겨야 했던 상대는 다른 통계가 아니라 '병사는 원래 죽는다'는 오래된 통념이었다. 돌과 힐이 이긴 상대는 담배가 무해하다는 감각이었다. 편견은 늘 숫자보다 먼저 도착해 있고, 숫자만이 뒤늦게 도착해 그것을 밀어낸다.

그러니 질문은 숫자를 믿을 것인가가 아니다. 다음에 어떤 통계가 당신 앞에 놓일 때, 이렇게 물으면 된다. 이 표본에 들어오지 못한 사람은 누구인가. 이 자료를 왜 하필 이 기준으로 쪼갰는가. 그리고 이 지표를 만든 사람은, 무엇을 세지 않기로 했는가.