"못믿을 여론조사, 차라리 발표 금지를" 꼭 따져봐야할 이 숫자

고정애 논설위원

한국 정치에서 여론조사의 위상은 묘하다. 소수점 아래의 변화도 민감한 반응을 불러일으키지만, 동시에 “여론조사를 누가 믿느냐”란 불신도 강하다. 그래서 선거 때마다 논란이 되곤 한다.

여론조사 전문가 김영원 숙대 교수 #지지율 소수점 아래를 논할 정도로 조사 결과 정확하지 않아 #선관위 등록했다고 바로 믿을 순 없어…회사마다 수준 차 커 #ARS 조사는 전화 기다린 사람이 주로 응답해 신뢰성 떨어져 #정치 경력이나 편향성 있는 사람이 조사 주관·담당해선 곤란

 선거 없는 해를 향해 가는, 일종의 소강기인 최근 다시 여론조사가 주목은 받은 건 두 가지 사안이 겹치면서다. 진보 편향의 김어준씨가 세운 여론조사 회사(여론조사꽃)가 중앙선관위 산하 중앙선거여론조사심의위(이하 여심위)에 등록된 게 하나라면, ‘윤석열 대통령을 탄핵하자’는 주장이 과반이란 조사 결과를 발표한 신생 업체의 대표가 ‘노무현 청와대 출신’이며 여심위에 등록된 또 다른 여론조사 업체의 대표이기도 하다는 사실이 드러난 게 또 하나다. 불신을 더 키운 셈이 됐다.

6년 8개월 동안 여심위원장 지내

 한국통계학회장을 지낸 김영원 숙명여대 교수를 25일 만난 배경이다. 그는 2020년 11월까지 6년 8개월여 여심위원장을 지냈다. 그는 먼저 지지율을 소수점 아래까지 보도하는 관행을 지적했다. “일반 독자에게 정확해 보이도록 왜곡시킬 수 있다. 소수점 아래를 논할 정도로 우리나라 여론조사가 정확한 게 아니다”고 말했다. 이어 “미국이나 일본·영국 등 소수점 아래까지 쓰는 나라는 아무 데도 없다”고 했다. 먼저 최근 논란부터 물었다.

김영원 숙명여대 통계학과 교수가 25일 오후 서울 용산구 숙명여대 연구실에서 중앙일보와 인터뷰하고 있다. 김경록 기자

 -특정 정파에 속한 이들이 여론조사 업계에 발을 들여놓고, 일부라곤 하나 여론조사 전문가를 자처하는 이들이 정치 인플루언서로 활동하는 경우가 늘고 있다.
 “정치적으로 편향된 사람이나 기관이 일반 유권자들에게 공표되는 여론조사를 직접 수행하거나 간여하는 경우 공정성이나 중립성을 해칠 가능성이 크기 때문에 바람직하지 않다. 하지만 객관적인 데이터 없이 편향성 여부를 사전에 예단할 수는 없기 때문에 현재 여심위 규정으로는 일정 조건을 만족하는 조사회사의 등록을 막을 순 없다.”

 -여심위에 등록된 업체라고 하면 일종의 ‘인증’을 받은 것처럼 여겨진다.
 “선거여론조사 기준을 위반하는 조사가 있다면 이는 여론조사가 갖추어야 할 최소한의 기준도 충족 못 하는, 여론조사로 볼 수 없는 수준의 엉터리 조사라는 것이다. 여심위에 등록돼 있다는 것이 해당 여론조사를 신뢰해도 좋다는 의미는 전혀 아니다.“

 -등록업체만 92개다. 여론조사가 말 그대로 쏟아지는 지경이다.
 “사실 2016년 총선에 비해 2020년 총선의 경우 전화 여론조사의 정확성은 높아졌다. 휴대폰 가상번호 제도의 도입이 큰 역할을 했다. 방송 3사의 대선 출구 조사에서 사전투표자에 대한 전화 조사 예측도 매우 정확했다. 현재 수행되는 여론조사 중 제대로 예산을 투입하고 전문성이 있는 조사회사에서 수행한 휴대폰 가상번호를 토대로 한 전화면접 조사는 상당히 신뢰할 수 있다고 말할 수 있다. 하지만 여심위에 등록된 여론조사라 하더라도 수준 차이가 매우 크다.”

면접조사 방식이 더 믿을 만해

 -어느 정도 믿을 만한가.
 “몇 개라고 얘기할 수는 없지만, 면접조사 방식으로 여론조사를 수행하는 기관은 대체로 신뢰할 수 있다고 볼 수 있다.”

 -일반인도 수준 차이를 알아볼 기준이 있다면.
 “접촉률과 응답률을 보면 된다. 여론조사에서 대표성이 확보되기 위해선 최종 응답자가 랜덤(random·무작위)하게 선택되는 것이 핵심이다. 접촉률과 응답률이 다른 조사에 비해 떨어진다면 랜덤성이 확보되지 못하기 때문에 신뢰성이 떨어진다고 볼 수 있다.”

 접촉률은 투입된 전화번호 중 전화를 받은 유권자의 비율이고, 응답률은 전화를 받은 사람 중 응답을 마친 비율을 말한다. 이들이 얼마나 중요한지 보여주는 선례가 있다. 김 교수가 주도한 2017년 신고리 원전 5, 6호기 공론화위원회 전화 조사로, 조사대상자에게 응답을 받을 때까지 13일간 20번까지도 접촉했다. 그 결과 응답률이 50%였다. 김 교수 스스로 “세계적으로 전무후무한 전화 여론조사였다”고 평가했다. 당시 정당지지도도 물었는데 그 무렵 여느 조사와는 완연히 달랐다. 일반 전화 조사에서 더불어민주당의 지지도는 50%대였다. 공론조사에선 39.6%였고 ‘지지 정당 없음’도 못지않은 37.2%였다(일반 조사에선 20% 안팎). 지금까지의 정치적 전개를 보면, 어느 쪽이 정확한지 분명하다.

 -사실 우리가 응답률이라지만 국제 기준(AAPOR)과는 다르다.

 “접촉률 곱하기 응답률 한 게 AAPOR의 응답률이긴 하다. 2014년 여심위원장에 부임해서 보니 공직선거법에 응답률을 밝혀야 한다고만 돼 있고 정의가 없었다. 당시엔 많은 여론조사기관이 AAPOR가 얘기하는 응답률을 제대로 계산할 수준이 안됐다. 그래서 지금의 응답률(AAPOR 기준으론 협조율)부터 쓸 수밖에 없었다. 여심위원장을 6년 넘게 하며 접촉률까지 해놓고 나오는 게 목표였고 거기까지 했다.”

2017년 7월 서울 종로구 정부서울청사에서 열린 신고리 5, 6호기 공론화위원회 1차 회의에서 김지형 위원장(전 대법관, 법무법인 지평 대표변호사)이 모두발언을 하고 있다. 당시 공론조사는 응답률이 50%에 달할 정도로 대단히 공들인 조사를 했다. [중앙포토]

국제 기준에 못 미치는 관행 

 -응답률이 5, 6%라고 해도 국제 기준으로 환산하면 한참 낮은 데.
 “AAPOR 기준으로 1%가 안 되는 것도 많다. 사실 미국도 응답률이 상당히 내려와서 6~8% 수준이다. 우리나라에서 가상번호로 전화면접조사 방식으로 제대로 하는 회사들은 그 수준이 된다. 문제는 ARS(자동응답) 등이 훨씬 떨어진다는 것이다.”

 실제 그렇다. 김어준씨의 여론조사 회사인 ‘여론조사꽃’이 26일 여심위에 등록한 ARS 조사는 25만 명에 전화를 걸어 1000명이 답한 것이다. 응답률을 3.4%로 적었지만, 국제 기준으론 0.58%에 그친다. 이에 비해 휴대전화 가상번호 면접조사를 하는 전국지표조사(NBS)의 최근 조사는 국제 기준으로도 5.9%였다. 유·무선 전화에 임의 걸기(RDD) 방식으로 조사하는 한국갤럽의 최근 조사도 3.4%였다.

 -그래서 전화면접조사와 ARS 조사 신뢰도를 두고 논란이다.
 “ARS는 랜덤성을 확보할 수 없을 정도로 너무 응답률이 떨어진다. 예를 들어 휴대전화 가상번호를 10만 개를 투입했는데 그중 2만 명이 전화를 받았고(접촉률 20%), 이들 중 1000명만 응답을 했다면(응답률 5%), 결국 투입된 전화번호 개수를 기준으로 보면 100명 중 1명(1%)이 응답을 한 것이다. 결국 이런 방식은 가장 비과학적인 자료 수집 방법에 해당하는, 조사에 참여하길 원하는 사람만 조사에 참여하는 자발적 선택(self-selection)에 의한 조사방식에 가깝다. 여론조사 전화를 기다린 사람만 주로 응답한다는 것이다. 여론조사에 있어서 표본추출 오차보다 편향이 훨씬 더 치명적일 수 있음을 상기해야 한다.”

휴대전화 가상번호 방식 늘려야

 그는 “결국 돈과 사람의 문제다. 조사 방법에 따라 신뢰성에 큰 차이가 있다는 점에 유의해야 한다”며 “일반 유권자가 가장 간단하게 신뢰성을 평가하는 방법은 해당 조사가 얼마나 많은 비용이 들어간 조사인지 보면 된다”고 했다. 포도주를 잘 모를 때 가격을 보고 좋은 포도주를 고르는 것과 유사하다는 것이다. 그러곤 “휴대폰 가상번호를 사용한 전화면접 방식이 현재로는 최상의 조사방법이라고 생각한다”고 했다. 가상번호를 이용한 전화면접 방식은 1000만원 이상 드는 데 비해 ARS는 300만~400만원 수준으로 알려졌다.

 -지금 분위기는 어쩌면 정확한 결과를 얻는 것보단, 원하는 결과를 얻는 데 더 관심 있는 것 아니냐는 의구심도 있다.
 “내가 아는 한 조사회사에서 장난치고 그럴 수준은 아니라고 본다. 그런데 요즘 워낙 조그만 회사들이 많이 생겨서, 거기까진 잘 모르겠다. 다만 여심위의 기준을 벗어나지 않는 수준에서 특정 정파에 유리하게 설문지를 작성하는 경우는 많이 볼 수 있다. 특히 여론조사 담당자가 정치권에서 활동한 경력이 있거나 편향된 정치 성향을 가지면 의도적으로 편향된 설문지를 구성할 가능성이 높기 때문에 이런 사람들이 조사를 직접 주관하거나 담당하는 건 결코 바람직하지 않다.”

여론조사 통한 공천은 비과학적

 -이런데도 여론조사가 정치에 영향을 주고, 심지어 공직 후보를 선출하는 기준이 되고 있다.
 “통계학 전공자로서 여론조사를 토대로 한 공천제도는 바람직하다고 볼 수 없다. 예를 들어 A, B 후보자의 여론조사 지지율 차이가 작은 경우, 지지율에서 두 후보는 우열을 가릴 수 없다는 통계학적 해석이 허용되어야 하는데 정치권에서는 이런 해석이 통하지 않는다. 각 정당은 다른 마땅한 방안이 없어서 당내 구성원들이 동의할 수 있는 일종의 ‘게임의 룰’로 여론조사를 활용하는 것으로 보인다. 이런 공천 여론조사의 경우 과학적인 조사 방법과는 상당한 차이가 있다.”

 -제도적으로 개선할 방법은 없을까.
 “조사회사의 전문성을 무시하거나 새로운 기법의 도입에 장애가 될 수 있는 규제를 강화하는 것은 바람직한 접근이 아니다. 시장에서 평가해 옥석을 가려야 한다. 그러려면 기자들이 해줘야 한다. 조사에 문제가 있다 싶으면 완전히 무시해야 한다. 여심위 미등록 조사는 보도하지 말고, 전문지식 없이 응답할 수 없는 주제에 대한 조사 보도도 자제해야 한다. 굳이 기준을 강화한다면 내 생각에는 일정 수준 이상의 접촉률과 응답률을 만족하지 못하는 여론조사는 공표를 금지하는 조항을 추가하는 것을 고려해 볼 수 있을 것 같다. 그게 들어가면 허술한 조사가 많이 잘려나갈 거다. ”

 -일정 수준이라면 어느 정도여야 한다고 보나.
 “그건 여심위가 판단할 문제이다.”
 학계에선 국제 기준으로 2~3% 선은 돼야 한다는 얘기가 나온다.

김 교수의 여론조사 제도 개선 제안

①공표 금지 기간(선거 전 6일) 폐지

·금지하는 건 현역 의원에게 유리

·‘깜깜이’ 선거(유권자 최종 판단 시점에 정보 차단)

②접촉률과 응답률에 따른 허용기준 강화와 함께 응답자 인센티브 제공 허용 및 확대

③휴대전화 가상번호 신청-제공 기간(현재 10일) 단축

④선거여론조사 이외 주요 정책조사나 공론조사에도 휴대전화 가상번호 사용 허용
·정당은 언제나 사용 가능. 반면에 정부나 지자체의 정책 수립 목적의 조사에선 사용 불가

·어떤 조사까지 가상번호 허용할 것인지에 대한 논의 시급함

고정애 논설위원