[충무로에서]여론조사, 제대로 묻기

김소영 카이스트 과학기술정책대학원 교수

바야흐로 여론조사의 계절이다. 지난 주말 오후에도 4시간 사이 여론조사 전화를 두 통이나 받았다. 때마침 대학원 수업에서 설문조사 방법론을 다룰 기회가 있었다. 사회과학 연구에서 설문조사는 많이 쓰이지만 제대로 된 설문조사는 찾기 어렵다. 샘플링부터 시작해서 조사 문항 만들고 설문을 시행한 후 데이터로 만드는 모든 과정에서 갖가지 오류들이 발생한다. 그중 특히 심각한 것은 설문 문항을 둘러싼 의도적이거나 의도치 않은 실수이다.

설문조사에서 피해야 할 질문 유형 중 첫째는 애매모호한 질문이다. 예컨대 "귀하의 소득은 얼마입니까"라는 질문은 주관적인 의견이 아니라 객관적인 수치를 요구하기 때문에 명확해 보이지만, 묻는 것이 세전 소득인지 세후 소득인지 또 월 소득인지 연 소득인지 불분명하다.

두 번째로 피해야 할 유형은 유도 질문이다. 일례로 "휴일에 수업하는 것에 찬성합니까, 반대합니까"라는 질문을 들 수 있다. 휴일에 수업하고 싶은 사람은 별로 없으니까. 실제로 유도 질문에 의한 응답률 차이에 관해 미국에서 재미있는 연구 결과가 발표된 적이 있다. 복지 정책에 관한 설문에서 정부가 '궁핍한 사람들'을 도와야 하는지 물었을 때 공화당과 민주당 지지자들 사이에 차이가 거의 없었지만 같은 질문에서 '궁핍한 사람들'을 '복지수당 받는 사람들'로 바꾸자 현격한 차이가 나타났다.

세 번째로는 영어로 'double-barreled question'이라고 하는 이중 질문이다. 총구가 두 개인 쌍열총에서 나온 표현으로 말 그대로 두 가지 목적을 지닌 질문이다. 고등학생들에게 "수학과 영어를 얼마나 좋아합니까"하고 묻는다면 대부분 난처해할 것이다. 7차 교육과정에서 문ㆍ이과 구별을 없앤다고 하지만 여전히 일선 고등학교에서는 문과, 이과반이 존재하고, 대입이란 압박에서 수학과 영어 둘 다 똑같이 좋아하는 학생들은 드물다.

그러나 대부분의 이중 질문은 이렇게 확연히 다른 것을 하나로 묶기보다는 질문자나 응답자가 서로 다른 것으로 인식하지 못하는 것을 하나로 엮는 데서 나온다. "우리나라 기초과학 현실은 열악한 형편이므로 기초과학 지원을 획기적으로 늘려야 한다"에 대해 얼마나 동의하는지 묻는다고 하자. 앞서 말한 대학원 수업에서 이것이 이중 질문임을 알아챈 학생은 아무도 없었다.

여기서 묻는 것은 기초과학 현실이 열악한지 여부와 기초과학 투자를 획기적으로 늘려야 하는지 여부이다. 우리나라 기초과학 현실이 열악하긴 하지만 재정적 여건상 아직 기초과학 투자를 '획기적으로' 늘리긴 어렵다고 생각하는 사람도 있을 터이고, 반대로 우리나라 기초과학 현실이 아주 열악하진 않지만 장기적 미래에 대한 투자로서 기초과학 지원을 대폭 늘려야한다고 생각하는 사람도 있을 것이다.

그런데 "돈도 많이 벌고 유명해지고 싶습니까"라는 질문이 어떤 오류 유형인지 묻자 모두들 유도 질문이라고 했다. 세상에 안 그런 사람이 어딨겠느냐 싶은 것이다. 하지만 내가 참고한 교재에는 이중 질문의 대표적인 예로 나와있다. 세상에는 돈을 많이 벌고 싶지만 그렇다고 꼭 유명해지고 싶지는 않은 사람도 있고 또 유명해지고 싶지만 그렇다고 꼭 돈을 많이 벌고 싶지는 않은 사람도 있다.

수업을 마치고 문득 과학자들은 이 질문에 어떻게 답할지 궁금해졌다. 과학자도 사람인지라 돈을 많이 벌거나 유명해지고 싶을 텐데 둘 다 관심없이 오로지 연구만 하고 싶은 과학자도 있을 것이다. 제대로 된 과학정책이라면 돈 많이 벌거나 유명해지고픈 과학자들에게 순수한 연구만 하라고 하거나 제대로 연구하고픈 과학자들에게 돈 많이 벌고 유명해지라고 해선 안 될 것이다.