[충무로에서]틀린 답과 놓친 답

김소영 카이스트 과학기술정책대학원 교수

오랜만에 대학원 수업 때 사지선다형 퀴즈를 냈다. 퀴즈를 내다가 갑자기 사지선다형은 네 개 보기 중 '하나'를 고르는 것인데 왜 사지선일(選一) 또는 사지선답(選答)이 아니고 사지선다(選多)로 쓰는지 궁금해졌다.

인터넷에 찾아보니 두 가지 해석이 있었다. 하나는 사지선다, 오지선다 등 한 문제에 대해 여러 개를 두고 고르라는 의미의 다(多)라는 것이다. 또 하나는 사지선다의 다(多)가 많다는 뜻이 아니고 뛰어나다, 좋다, 칭찬하다는 뜻이라는 것이다. 그러니까 네 개 중에서 맞는 것을 고르라는 것이다. 이 해석을 낸 사람이 예시로 든 것을 보면 <사기>에 '天下不多管仲之賢而多鮑叔能知人也'이란 표현이 나오는데 풀이하면 천하의 사람들은 관중의 지혜를 칭찬하지 않고 포숙의 사람 알아보는 능력을 칭찬한다는 뜻으로, 다(多)가 칭찬하다는 의미로 쓰였다.

아무튼 사지선다형 문제를 내다가 정답을 굳이 하나로 낼 필요가 없다는 생각이 들어, 보기를 대여섯 개 주고 정답 역시 여럿인 문제를 내면서 정답 수는 가르쳐 주지 않았다. 학생들이 무척 난감해 하더니 어느 학생이 틀린 답을 고르면 페널티가 있냐고 물었다. 그래서 학생들을 격려하는 차원에서 맞은 답만 계산하고 틀린 답에는 페널티를 안 주겠다고 했다.

막상 채점을 하려고 보니 문제가 생겼다. 여섯 개 보기 중 정답이 세 개인데 정답을 일부만 맞힌 학생들이 두 부류로 나뉘는 것이었다. 하나는 정답 수만큼 골랐는데 일부 맞추고 일부 틀린 경우이고, 다른 하나는 정답 수보다 적게 고른 경우였다. 예컨대 두 개를 맞추고 하나는 틀린 경우와 맞는 답 두 개만 고른 경우를 비교해 보자. 맞춘 정답 수만 보면 전자나 후자 똑같다. 그런데 나머지 정답 하나에 대해서는 정반대다. 전자는 틀린 답을 고른 것이고, 후자는 맞는 답을 놓친 것이다. 시험 감독 때 약속한 대로 틀린 답에 페널티를 주지 않으면 전자는 셋 다 맞춘 경우랑 점수가 똑같게 된다. 결국 인자하게(사실 경솔하게) 페널티를 안 주겠다고 한 말을 번복하면서 채점을 마쳤다.

틀린 답을 고른 경우와 맞는 답을 놓친 경우 어느 것이 더 심각한 실수일까. 통계를 공부하면 맨 처음 배우는 것 중 하나가 1종 오류와 2종 오류의 구별이다. 1종 오류는 거짓-양성으로 가설이나 추측이 틀리는데 맞다고 받아들이는 오류이고, 2종 오류는 거짓-음성으로 가설ㆍ추측이 맞는데 받아들이지 않는 오류이다.

1종 오류와 2종 오류 중 어느 것이 더 심각한 오류인지는 상황에 따라 다르지만 과학연구에 있어서는 1종 오류를 더욱 심각하게 바라본다. 그 이유는 맞는 가설인데도 발견을 하지 못한 과학자는 본인은 불운하나 가설이 정말 맞다면 언젠가는 누군가에 의해 발견될 것이기 때문이다. 반대로 틀린 가설인데 증명됐다고 받아들여버리면 영영 그 가설은 검증의 기회를 놓치고 잘못된 채로 남게 될 것이다.

실제로 통계학 수업을 처음 들었을 때 담당 교수님은 통계의 본령은 가설을 증명하는 것이 아니라 기각하는 것이라고 내내 강조하셨다. 엄밀히 말해 경험적 과학연구에서 가설은 증명되는 것이 아니라 아직 부정되지 않았다고 말하는 게 맞다는 것이다. 과학사회학의 선구자 로버트 머튼은 과학이 정치, 종교 등 다른 사회제도와 다른 특성 중 하나로 '조직화된 회의주의'를 들었다. 과학의 진보는 그 어떤 이론이나 주장도 틀릴 수 있다는 전제하에 가능하다.

2013년 말 이코노미스트지에서는 최근 과학연구가 과도한 논문 출판 경쟁으로 왜곡돼 가는 경향을 분석한 기사에서 1990년대에만 해도 주요 과학저널에서 소위 가설 증명에 실패한(즉 답을 맞추지 못한) 연구를 싣는 비율이 30%였는데 최근에는 14%로 떨어진 사실을 지적했다. 반면 연구 성과가 재현 불가능한(즉 틀린 답을 내놓은) 경우는 심각한 수준이라 한다. 일례로 유명한 바이오텍 회사인 암젠 소속 연구자들이 재현 실험을 시도한 53개의 기념비적인 암연구에서 재현가능한 경우는 고작 6개였다. 이제 과학의 발전을 위해 틀린 답에 페널티를 주어야 하나….

김소영 카이스트 과학기술정책대학원 교수