유대인 출신으로 영국에서 두 번이나 총리를 지냈던 벤저민 디즈레일리가 세상에는 세 종류의 거짓말이 있다고 말했다. 거짓말, 새빨간 거짓말, 통계다. 통계가 새빨간 거짓말보다 더 거짓인 이유는 아마도 쓸모없는 정보를 무수히 쏟아낼 수 있기 때문이리라. 그렇다고 모든 통계 분석이 거짓이란 말은 절대로 아니다. 신문·방송 등에서 통계학 기법을 활용해 발표하는 여론조사 결과 중에는 건전하고 과학적인 민주주의를 위한 발판을 제공하는 데 일조하는 게 적지 않다. 하지만 조사방법론의 엄밀한 틀에서 보면 가끔 교묘하게 둘러대는 거짓말이 될 수도 있다. 특히 최근 실시된 정치인에 대한 지지도 조사에서 이런 오류가 발견된다.
여론조사 때 엉터리 통계기법과 해석의 틀을 적용하면 여론의 의미가 극적으로 변한다. 일반적으로 여론조사 과정에선 반드시 표본집단에 대해 질문을 하게 된다. 질문에 대한 응답들을 통계적으로 분석해 그 결과를 해석함으로써 여론의 참의미를 탐색하는 과정을 거친다. 하지만 여론조사에서 심각한 문제점이 해소되지 않은 채 조사가 진행될 경우 통계는 졸지에 거짓말이 되고 만다.
여론조사의 첫 번째 문제는 대중에게 제기되는 질문 형태에 관한 것이다. 두 명의 신부가 있다. 이들은 담배를 문 채 기도를 하는 것이 옳은지 여부로 고민하다 교황에게 편지를 썼다. 한 신부는 다음과 같이 썼다. “기도하는 도중에 담배를 피워도 좋은지요?” 답장은 “신부는 열과 성을 다해 기도에 집중해야 하므로 허락할 수 없다”는 것이었다. 반면 다른 신부는 “담배를 피우는 도중에 기도를 해도 좋은지요?”라고 물었다. 그런데 “기도는 언제라도 할 수 있는 것이기에 가능하다”는 답을 받았다.
여론조사의 설문 구조를 들여다보면 거기에는 어느 한쪽으로 쏠리지 않는 경우가 별로 없다. 종종 질의 형식 자체가 정답을 유도하기도 막기도 한다. 두 신부의 사례처럼 질의 형식을 조금만 바꾸어도 전혀 다른 답이 나올 수 있다. 아니 정반대의 답도 도출된다. 그래서 국가고시, 공무원채용시험, 입사시험 등의 문제를 낼 때 출제자가 절대 유의해야 하는 항목 중 하나가 지문 구성에서 ‘가장’ ‘제일’ ‘···이라 볼 수 있(없)는 것은?’이란 표현을 쓰지 말아야 한다는 것이다. 특히 사회현상을 다루는 문제에서는 더욱 조심해야 한다.
두 번째 문제는 여론이란 사람들의 생각이나 마음속에 이미 갖고 있는 의견이며, 여론조사원이 이를 쉽게 파악해 밖으로 꺼낼 수 있다고 믿는다는 데 있다. 물론 어떤 상황이나 개인에 따라 여론이나 의견이 형성돼 있을 수 있다. 하지만 대체적으로 의견이란 지속적인 지식 습득, 질문, 토론, 논쟁의 과정을 거쳐 형성되기 마련이다. 특히 사회적인 쟁점 사안에 대해선 개개인이 뚜렷한 하나의 의견을 갖고 있기란 쉽지 않다. 그래서 이들에게 설문을 던졌을 때 제대로 된 의견을 듣기는 쉽지 않다.
우리는 사람들이 의견을 ‘가지고 있다’고 말할 게 아니라 의견이 ‘형성되어 가는 과정에 있다’고 보고, 의견 형성 경로와 흐름을 파악하는 데 주목해야 한다. 의견을 측정할 수 있다고 보는 것은 어쩌면 사람들이 의견을 형성해 가는 과정을 근본적으로 왜곡할 수 있다. 그럴 경우 여론 형성 과정이 거꾸로 민주사회의 발목을 잡을 수 있다. 여론조사가 사람들의 의견 형성 과정을 보려는 우리의 눈을 가릴 수 있다면, 거짓말을 경계하듯 거짓 정보를 제공하는 일부의 통계분석도 차단해야 한다. 사실을 빙자한 거짓말을 가리켜 ‘제4종 거짓말’이라 한다. 탈무드에선 ‘거짓말쟁이에게 주어지는 가장 큰 벌은 그가 진심을 말했을 때에도 사람들이 믿지 않는 일’이라고 말한다. 그 경고를 여론조사 결과를 다루는 사람들은 항상 되뇔 필요가 있다.
