믿기 어려운 여론조사, 그 실상을 보다
중앙선거여론조사심의위원회(여심위)에 가장 최근(6일 오전 기준)에 등록된 여론조사 10개를 보면, 20대 응답자 ‘목표 할당’ 사례 수를 채운 게 단 한 개도 없다. 리얼미터가 tbs 의뢰로 실시한 정당 지지도 등에 대한 조사에서는 258명이 목표였는데, 조사 완료 사례는 184명이다. 71.3%밖에 채우지 못했다. 알앤서치의 정치 여론조사에서는 172명이 목표였으나 확보된 20대 응답 사례는 133명(77.3%)이었다. 조원씨앤아이의 정당 지지도 등에 대한 조사에서도 20대 응답은 목표 172명에서 크게 모자란 122명(70.9%)에 불과했다.
최근 여심위 등록 10개 조사 중 #20대 할당 목표 다 채운 것 없어 #응답률 낮으면 정치적 유동층과 #‘샤이 유권자’ 의견 포집 어려워
10개 조사 중 8개가 무선 자동응답 시스템(ARS)을 주로(하나는 50% 이상, 나머지 7개는 65% 이상) 사용했다. ‘무선 ARS’ 조사는 휴대전화로 응답자에게 녹음된 설문을 들려줘 의견을 받는 방식이다. 이 8개 중 3개가 리얼미터 조사였다.
전체 10개 중 2개는 ‘무선 ARS’가 아니라 ‘무선 면접’ 방식을 주로 사용했다. 조사원이 휴대전화로 전화해 통화하며 답을 얻는 방법이다. 이들 조사 역시 20대 할당 목표는 채우지 못했지만 ‘무선 ARS’ 중심인 나머지 8개에 비해 목표 달성 비율이 높았다. 20대 몫 172명 중 각각 146명(84.8%, 한국갤럽), 155명(90.1%, 한국리서치)을 채웠다. 신창운 전 중앙일보 여론조사 전문기자에 따르면 조사원이 직접 전화를 걸면 응답자가 전화를 끊고 싶어도 미안한 마음 때문에 응하는 경우가 꽤 있다.
2030은 모자르고, 5060은 남는 여론조사 응답
10개 조사 중 40세 이상(40대, 50대, 60대, 70세 이상 구간 합산)에서 응답 목표치 달성에 실패한 경우는 단 한 개도 없었다. 목표를 크게 뛰어넘은 사례도 많았다. 알앤서치 조사에서 50대 몫은 201명이었는데, 응답 사례는 297개(147.7%)가 기록됐다. 리얼미터 조사(오마이뉴스 의뢰 건)에서도 50대 응답자는 목표치 505명을 크게 초과한 661명(130%)이었다.
청년층 응답 사례가 모자라고, 중장년층 응답 사례는 넘친다고 해서 그대로 섞어 결과를 내는 것은 아니다. 연령 구간별로 통계적 보정 작업을 벌인다. 예를 들어 20대에서 70%의 사례가 수집됐을 때에는 매우 지지, 지지, 반대, 매우 반대, 모름으로 집계된 응답을 그 분포에 따라 100%를 채웠을 경우로 환산해 결과 분석에 쓴다. 인구 비례에 맞춰 정해진 응답자 연령대 비율이 크게 흔들리는 것은 아니다.
그렇다고 해도 이런 방식에 의해 도출된 여론조사 결과를 믿을 수 있느냐는 의심은 여전히 남는다. 특정 연령대의 응답 목표치가 크게 미달하는 경우는 제대로 된 조사가 아닐 가능성이 크다.
◆“20대는 전화통화 자체를 꺼려”=20대의 의견 수집이 잘 안 되는 것은 전화를 받지 않거나 받아도 조사에 응하지 않는 사람이 많기 때문이다. ‘ARS 조사방식과 젊은 연령대 여성 표집의 실패’라는 논문을 쓴 구본상 충북대 정치외교학과 교수는 “20대는 상대적으로 정치에 대한 관심이 적고, 정치적 견해를 드러내는 것을 꺼린다. 여성에게서 그런 경향이 더 나타난다. 게다가 요즘 젊은이들은 카카오톡 등의 메신저로 주로 소통을 하기 때문에 전화통화를 불편하게 여기기도 한다. 특히 발신자가 누구인지 모르는 전화나 여론조사 기관으로 발신자 표시가 뜨는 전화는 잘 받지 않는다”고 설명했다. 요즘 젊은이들은 친구·부모와의 전화통화도 자주 하지 않는다. 주로 카카오톡으로 안부를 전하고, 약속을 잡고, 중요한 일을 의논한다. 익명을 원한 한 여론조사 업체 간부는 “ARS 전화를 일단 받고, 중도에 끊지 않고 끝까지 의견을 나타내는 이 두 단계에 모두 응하는 20대는 100명에 한 명도 안 된다”고 말했다. 20대 만큼은 아니지만 30대도 여론조사에 잘 응하지 않는다. 위에서 말한 10개의 조사 중 5개에서 30대 응답 사례가 목표치에 미달했다.
100명에 한 명꼴도 되지 않는 20대 응답자가 20대 의견을 대변한다고 볼 수 있을까. 구 교수는 “정치 관련 조사라면 정치적 지향성이 뚜렷해 의사 표시 욕구가 높은 층에서 응답을 많이 했다고 추정할 수 있다”고 말했다. 정치적 입장이 분명하지 않은 ‘유동층’이나 속마음을 드러내는 것에 부담을 느끼는 이른바 ‘샤이 유권자’가 상당 부분 배제되고 ‘주장이 강한 사람’의 생각이 과도하게 반영될 가능성이 크다는 뜻이다. 예컨대, 남녀 차별에 대한 조사가 실시된다면 이 문제에 적극적인 의사를 가진 사람들의 의견이 많이 투영돼 조사 결과가 ‘실제 여론’과 크게 다를 수 있다는 의미다. 한 여론조사 분석 전문가는 “최근 일부 ARS 조사에서 전체 응답자 중 지난 대선 때 문재인 대통령에게 투표했다고 답한 사람이 60%가 넘는 경우가 나타난다. 문 대통령 득표율은 41.1%였다. 응답자 중 일부가 거짓말을 했거나, 문 대통령을 지지하지 않는 쪽에서는 조사에 잘 응하지 않아 나타난 현상일 가능성이 크다. 따라서 실제 대통령 지지율은 발표된 것보다 상당히 낮을 수 있다”고 말했다.
◆CNN은 ARS 조사 인용 금지=통계 전문가인 김재광 미국 아이오와주립대 교수는 “전 세계적으로 휴대전화를 통한 여론조사는 한계 상황에 이르렀다. 특히 무선 ARS 조사는 더 그렇다”고 진단했다. 조사 업체의 전화를 아예 받지 않는 사람, 받아도 설문에 응하지 않고 끊어버리는 사람이 늘어나 휴대전화로 측정된 여론조사를 신뢰하기 어려운 지경에 도달했고, 응답률이 더 낮은 ARS 조사는 더욱 그런 상황에 봉착했다는 이야기다. 그렇다고 유선전화 여론조사가 대안이 되기는 어렵다. 휴대전화만 쓰는 가정이 많아서다. 가가호호 방문 조사는 비현실적이다. 시간과 돈이 많이 든다.
지난 7월 미국 CNN 방송은 내년에 실시하는 차기 미국 대통령 선거와 관련해 녹음된 설문 문항을 기계가 들려주는 방식(robocall)의 전화 여론조사 결과는 보도하지 않겠다고 발표했다. 전화 조사는 조사원이 직접 통화해(live interview) 응답을 얻은 것만 리포트에 사용하겠다고 했다. 보다 신뢰할 수 있는 수치이기 때문이라는 게 CNN의 설명이다.
한국 전문가들 사이에서도 마케팅 등을 위해 기업체가 의뢰하는 조사가 아닌 선거에 영향을 주는 여론조사에서는 ARS 조사 결과의 공표와 보도를 제한해야 한다는 의견이 나온다. 허명회 고려대 통계학과 교수는 “더는 악화가 양화를 몰아내지 못하게 해야 한다”고 말했다. 여론조사 업체들이 조사원 고용 등에 비용을 쓰지 않아도 되는 ARS 조사를 앞다퉈 도입하다 보니 믿기 어려운 결과들이 난무하게 됐다고 허 교수는 지적했다.
김재광 교수, 허명회 교수, 이택수 리얼미터 대표, 한규섭 교수(왼쪽부터)
◆“새로운 조사 방법 찾아야”=ARS 여론조사의 시장 개척자 격인 이택수 리얼미터 대표는 “ARS 응답률이 낮고 특히 젊은 층에서 그런 현상이 두드러지는 것은 사실이지만, 그렇다고 해서 조사원 조사보다 ARS 조사가 덜 정확한 것은 아니다”고 주장했다. 그는 “정치적 견해를 밝혀야 하는 경우에 사람과 통화하는 것보다 음성 녹음에 답하는 방식이 더 솔직한 답을 끌어낼 수 있다. 지난 미국 대선 때 트럼프 지지율 조사에서 ARS가 더 잘 예측했다”고 말했다. 이 대표는 그러면서도 ARS 조사가 ‘응답 거절’이라는 현실적 어려움을 겪고 있다는 점은 인정했다. 그는 “보다 정확한 측정을 위해 휴대전화 메신저나 애플리케이션(앱)을 활용한 조사 방법을 강구하고 있다”고 말했다. ARS 쪽뿐만 아니라 조사원 통화를 활용하는 업체에서도 비슷한 고민을 한다. 김춘석 한국리서치 여론조사사업본부장은 “메신저 활용 조사 등 다양한 기법을 실험하고 있다”고 밝혔다. 한규섭 서울대 언론정보학과 교수는 “ARS든, 직접 전화든 ‘인센티브’를 적절하게 제시할 필요가 있다. 원전 공론화위원회 여론조사에서 설문에 답한 사람들에게 4000원씩 제공했더니 응답률이 제법 높게 나타났다. 돈과 시간을 들여야 조사가 정확해진다”고 말했다.
이상언 논설위원
