[탐사하다]'사람이 묻냐 기계가 묻냐' 따라 여론조사 18%P 차이

“여론조사는 조사하기 나름”이란 시중의 속설을 뒷받침하는 실험 결과가 나와 정치권과 학계의 주목을 끌고 있다. 똑같은 설문이라도 조사방식에 따라 얼마든지 결과가 달라질 수 있다는 것을 보여준 첫 실증 사례다.

유·무선, 전화면접·ARS 따라 결과 달라져 #지난 대선·지방선거 때 조사방식 20가지 # 해외선 50년 전 쓰는 방식으로 표본 모집 # ARS 여론조사 신뢰성 논란 끊이지 않아 # 학계 “여론조사 믿는 것 자체가 난센스” # 열악한 조사 환경이 저품질 여론조사 양산 # #

한국통계학회는 최근 중앙선거여론조사심의위원회(이하 여심위)의 의뢰를 받아 동일한 설문으로 조사방식을 바꿔가며 여론조사를 수행하는 실험을 실시했다. 결론부터 말해 결과는 천양지차였다. 실험 결과를 접한 한 통계학과 교수가 “여론조사의 민낯을 드러낸 실험”이라고 말했을 정도다.

학회 연구팀은 2개 여론조사 업체를 선정해 다섯 가지 방식으로 조사(9월30일~10월2일, 각각 500명씩 응답)를 실시했다. 조사원이 직접 전화를 거는 전화면접 조사는 ①‘집전화 RDD + 휴대전화 RDD’와 ②‘집전화 RDD + 휴대전화 가상번호’의 두 가지 방식으로 조사했다. 사람이 아닌 기계음을 듣고 응답을 하는 ARS(자동응답시스템) 조사는 ③‘집전화 RDD’ ④‘휴대전화 가상번호’ ⑤‘집전화 RDD + 휴대전화 RDD’의 세 가지 방식으로 진행됐다.
RDD란 ‘Random Digit Dialing’의 약자로 기계가 생성하는 무작위 번호로 전화 거는 방식을 의미한다. 가상번호(일명 안심번호)는 개인정보 보호를 위해 실제 휴대전화 번호 대신 이동통신사에서 부여한 일회성 번호를 말한다.

여론조사 방식에 따라 결과는 '천양지차'. 그래픽=박경민 기자 minn@joongang.co.kr

문재인 대통령의 국정 수행 평가를 묻는 질문에 ‘잘하고 있다’는 응답은 다섯 가지 조사를 합쳐 평균 42.4%가 나왔다. 그런데 ③ARS ‘집전화 RDD’ 조사에서는 ‘잘하고 있다’는 응답이 34.2%에 불과했다. 반면 ④ARS ‘휴대전화 가상번호’ 조사에서는 ‘잘하고 있다’가 48.4%에 달했다. 같은 질문에 14.2%포인트 차이가 난 것이다. ‘잘못하고 있다’는 응답 역시③ARS ‘집전화 RDD’ 조사에선 64.0%가 나왔다. 그러나 ②전화면접 ‘집전화 RDD + 휴대전화 가상번호’ 조사에선 46.2%였다. 무려 17.8%포인트 차이다.

전화면접보다 ARS 조사에서 극단적인 응답이 많았다는 점도 주목된다. 전화면접 조사(①②)에서는 ‘대체로 잘못하고 있다’가 평균 20.8%, ‘매우 잘못하고 있다’가 27.8%였다. 그러나 ARS 조사(③④⑤)에서는 ‘대체로 잘못하고 있다’가 평균 10.5%인 반면, ‘매우 잘못하고 있다’는 46.2%였다.
같은 실험에서 조국 법무부 장관(당시 사퇴 전)의 장관직 수행에 대한 의견 역시 ③ARS ‘집전화 RDD’ 조사에선 ‘사퇴해야’가 60% 넘게 나왔지만, ④ARS ‘휴대전화 가상번호 조사에선 50%에 미치지 않았다.

이 실험은 같은 이슈인데 왜 여론조사 업체마다 결과가 들쭉날쭉한지를 잘 보여준다. 조사를 사람이 하느냐 기계가 하느냐, 유선 전화냐 휴대전화냐, 실제 번호냐 가상번호냐에 따라 전혀 다른 결과가 나올 수 있다는 것이다. 또한 남녀나 연령대에 따라 응답 성향이 다른 것은 물론 가입한 이동통신사에 따라 응답률도 달랐다.

7차 지방선거 관련 여론조사 방식. 그래픽=박경민 기자 minn@joongang.co.kr

여심위에 따르면, 지난 19대 대선과 지난해 지방선거 때 사용된 여론조사 방식은 20가지나 된다. 이에 대해 익명을 원한 한 국립대 통계학과 교수는 “한국의 여론조사 풍토나 시스템을 고려하면 그 어떤 조사 방식도 정확하다고 말하기 힘들다”고 말했다.

# 유선과 무선, 낮과 밤의 차이

여론조사 업계에는 여러 통설이 있다. ‘유선 전화는 보수 정당, 무선 전화는 진보 정당에 유리하다’ ‘노인층이 많이 받는 낮에는 보수, 젊은 층이 많이 응답하는 밤에는 진보에 유리하다’ ‘ARS는 여성보다는 정치에 관심이 많은 남성이 많이 받는다’ ‘응답자 중 여당 지지자의 응답률이 훨씬 높다’ 등등.

근거 없는 얘기가 아니다. 2017년 대한정치학회는 중앙선관위 의뢰로 19대 대선 당시 여론조사를 분석했다. 관련 보고서에 따르면, 전화면접에 비해 ARS 조사에서 당시 문재인 후보의 지지율이 일관되게 높게 나타났다. 특히 무선 ARS만 활용할 경우, 다른 방식에 비해 문재인 후보의 지지율이 특히 높았다. 또한 유선 전화 비율이 높으면 문재인 후보는 낮게, 홍준표 후보 지지율은 상대적으로 높게 측정됐다.

한 통계학과 교수는 “이런 차이를 모를 리 없는 여론조사 업체가 유무선 전화 비율이나 조사 시간대 등을 특정 의도에 맞출 경우 조작은 아니더라도 의도적인 왜곡으로 볼 수 있다”며 “하지만 현재의 검증 시스템에서는 이를 걸러내기 어렵다”고 지적했다. 류정호 여심위 심의팀장은 “지난 총선 때는 ‘원하는 결과를 맞춰줍니다’라고 홍보한 업체까지 있었다”며 “원하는 대로 (경선) 지지율이 나오도록 ‘마사지’를 해줄 수 있다는 뜻”이라고 말했다.

여론조사는 그 영향력에 비해 '영업 비밀'이란 이유로 규제 및 감시망을 벗어나 있다. 그 결과는 공정성과 신뢰도 저하다. 여론조사를 '허수아비에 대고 조사하는 격'이라는 비판이 나오는 이유다. [뉴시스]

# “허수아비에 대고 여론조사 하는 격”

국내 여론조사 업체는 비용절감을 위해 표본을 만들 때 대부분 ‘할당 추출’ 방식을 쓴다. 예를 들어 8개 권역, 5개 연령대, 남녀로 구분하면 총 80개(8x5x2) 분류(셀)가 생긴다. 여기에 인구 통계에 비례해 응답을 받을 목표 숫자를 할당한다. 그리고 전화나 ARS 조사로 각 구간의 할당을 채울 때까지 응답자와 접촉을 한다.

이런 방식은 여론조사 선진국인 미국에서는 거의 쓰지 않는다. 표본의 대표성을 확보하기 어렵다는 이유에서다. 한 통계학과 교수는 “할당 표본 추출법은 미국 등지에서는 정확성이 떨어진다는 이유로 이미 1950년대부터 시장에서 퇴출됐고 확률 추출법으로 넘어갔다”며 “그러나 한국은 여전히 할당 추출법이 여론조사의 대세를 이룬다”고 말했다. 그는 “할당 추출 방식으로 모은 표본이 모집단을 정확히 반영하지 못하고 표본이 편향적으로 선정될 수 있다는 것은 통계학 교과서에도 나온다”며 “싸고 빠르게 표본을 모을 수 있다는 이유로 이런 방식을 쓰는 것은 허수아비에 대고 조사를 하는 것과 마찬가지”라고 비판했다.

# 짧은 조사 기간과 낮은 응답률

조사 기간이 길수록 더 정확한 결과가 나온다는 건 상식이다. 하지만 한국의 여론조사는 시간에 쫓긴 날림 조사가 많다.

‘비용 줄여라’ 짧디 짧은 여론조사 기간. 그래픽=박경민 기자 minn@joongang.co.kr

중앙일보가 여심위에 등록된 최근(10월 29일 기준) 여론조사 100건의 조사 기간을 분석했더니, 82건이 3일 이내에 조사를 끝냈다. 2일 조사가 46건으로 가장 많았다. 5일 이상은 9건에 불과했다. 당일치기 조사도 4건 있었다. 심지어 한 조사업체는 1000명을 상대로 조사하면서 오전 11시부터 오후 2시까지 단 3시간만 조사한 것으로 나타났다. 한 대형 여론조사 업체 관계자는 “외국에선 보통 4~5일씩 조사를 하는데 우리는 그렇게 하고 싶어도 비용 때문에 할 수 없는 환경”이라고 말했다.

응답률도 형편없다. 중앙일보가 여심위에 등록된 최근 전국 단위 선거 관련 여론조사 100건을 조사했더니 평균 응답률은 8.9%였다. 전체 응답률이 5%에도 미치지 못하는 조사가 28건이었다. 전화면접 조사가 ARS보다 응답률이 높았다. 무선 전화면접의 평균 응답률은 평균 18.6%, 유선 전화면접은 11.4%였다. 하지만 유선 ARS 조사의 응답률은 평균 3.4%, 무선 ARS는 6.1%에 그쳤다. 특히 전체 응답률이 10%를 넘는 34건 중 ARS를 활용한 조사는 단 2건에 불과했다.

 한 대형 조사업체 임원은 “낮은 응답률은 리서치 업계의 고질적인 문제”라며 “응답을 거절하더라도 수차례 콜백(재접촉)을 통해 응답을 유도해야 하는데 조사 비용과 시간 때문에 그러지 못한다”고 털어놨다.

조사 방식에 따라 응답률도 제각각. 그래픽=박경민 기자 minn@joongang.co.kr

낮은 응답률은 조사 결과를 왜곡할 수 있다. 애초 표본에 있던 A가 응답을 거절해 B로 대체됐는데, B가 특정 정치 성향을 갖고 여론조사에도 적극적이라면 조사 결과가 왜곡될 수 있기 때문이다. 류정호 팀장은 “응답률이 떨어지는 것은 대표성 차원에서 우려할 만한 일”이라며 “하지만 이를 보완할 수 있는 방법과 연구가 부족하다”고 말했다. 이와 관련 국회에는 응답률이 5% 미만인 선거 여론조사는 공표·보도를 금지하는 법안(오신환 바른미래당 의원)이 계류 중이다.

# 허술한 검증 시스템…여론조작의 유혹

온라인에는 여론조사업체의 ‘조작설’이 그럴듯하게 유포돼 있다. 과연 그럴까. 익명을 원한 한 대형 여론조사업체의 고위관계자는 “이론상 내부에서 대표와 팀장급들만 공모하면 아무도 모르게 얼마든지 조작이 가능하다”며 “하지만 걸리면 회사가 망하는 것을 뻔히 아는데 조작할 엄두를 내겠느냐”고 말했다. 다른 업체 조사팀장은 “간혹 특정 목적에 맞게 여론조사를 설계해 달라는 의뢰인이 있지만 100% 거절한다”며 “조작 의심을 받는 것과 실제 조작을 하다가 걸리는 것은 차원이 다른 문제이기 때문”이라고 말했다.

지난해 출간된 <서베이 조사의 민낯 : 조작과 저품질의 유혹>에서 밝힌 여론 조작 방법.

그렇다면 특정 업체가 조작할 범죄 유인이 생겨 실제 실행한 경우 검증할 수는 있을까. 한 업체 조사팀장은 “내부 폭로나 제보가 없다면 사실상 불가능하다”며 “검증 시스템이 없다고 보면 된다”고 말했다. 그의 설명은 이렇다.

“여론조사업계는 서로 검증하지 않는다는 불문율이 있다. 터무니없는 조사 결과가 나와도 ‘그러려니’ 한다. 검증할 여력도 없지만 의심이 가더라도 서로 쉬쉬한다. 여심위가 검증 능력이 없다는 것도 업계 사람들은 다 안다. 무엇보다 실제 조작이 드러날 경우 업계 전체가 공멸할 수 있다는 우려가 깔렸다.”

그러면서도 그는 “정해진 예산(비용)에 맞춰 가능한 빨리 조사를 맞춰야 하므로 일부 중소업체는 적은 표본을 부풀리는 속칭 ‘소다치기’를 하거나 조사가 끝나고 데이터 마사지를 하는 경우도 있다고 들었다”고 했다.

논문형 책자인 &#39;서베이 조사의 민낯&#39;에는 여론조사를 둘러싼 각종 조작과 왜곡의 문제점이 고스란히 담겼다. [자료=세계와 나]

실제로 여론조사업계 종사자인 김봉신씨가 지난해 출간한『서베이 조사의 민낯』에 따르면, 설문지 작성부터 조사 모든 과정에서 왜곡·조작할 여지는 많다. 조사 결과가 좋지 않을 것으로 예상되는 대상을 여론조사 설계에서 애초에 배제(모집단 제한)하거나, 표본 설계에는 포함하지만 실제 접촉할 리스트에서 삭제(표본 추출 제한)하는 방식이다. 또한 모집단 구성 비례에 따르지 않고 유의 할당을 적용(추출 방법 왜곡)하고, 조사 대상 집단을 조사 후에 변경해 불리한 결과를 삭제(조사 설계 사후 변경)하는 방법도 있다. 설문지에서 선택항을 일부러 없애거나, 질문 문구에 특정 정보를 편향되게 제시하고, 질문을 어렵게 해서 아예 응답을 못 하게 하기도 한다. 김씨는 “갑(의뢰자)이 부당한 결과를 요구할 경우 을(조사업체)은 이를 거부하기 힘들다”고 말했다.

# 10곳 중 8곳은 분석 전문인력 3명 이하

“한국과 같은 여론조사 인프라와 시장 환경에서 고품질의 조사를 기대하기는 어렵다.”(이용구 중앙대 명예교수)

여론조사 업계와 관련 학계가 한결같이 고개를 끄덕이는 대목이다. 우선 턱없이 낮은 조사 비용이 문제다. 낮은 조사 비용은 충분한 표본을 확보하거나 응답률을 높이기 위한 재접촉 시도를 막는 걸림돌이다. 최대한 빨리 끝내야 그나마 이윤을 남길 수 있기 때문이다. 한 여론조사업체 관계자는 “인건비는 계속 증가하는데 조사 단가는 10년 전과 달라진 게 없다”며 “상위권 업체도 영업이익률이 5%가 되지 않는 곳이 허다하다”고 말했다. 그는 “ARS 조사가 급증하는 것도 저렴한 조사 비용이 근본적인 원인”이라며 “ARS 조사는 200만~300만원으로도 1000명짜리 조사를 뚝딱 할 수 있다”고 덧붙였다.

여론조사 업계와 여심위에선 전문인력 부족 문제를 호소한다. [중앙포토]

저단가·저품질 조사의 난립은 악순환을 낳는다. 이윤이 박한 시장에서 여론조사업체는 기술 등 인프라 투자는커녕 전문인력을 확보하는 데도 애를 먹는다. 여심위에 등록된 79개 여론조사 업체 중 분석 전문인력이 3명 이하인 곳이 77.2%(61곳)다. 전문가를 7명 이상 보유한 업체는 7곳에 불과하다.

업계에선 공정성·신뢰도를 확보한 고품질 여론조사를 위해선 ‘단가 조정’이 불가피하다는 입장이다. 전화면접조사 기준 표본 한 명당 1만5000~2만원이 업계가 요구하는 적정 비용이다. 이양훈 칸타코리아 이사는 “의뢰인인 정당이나 언론사가 저렴한 여론조사를 원하는 현상과 군소 업체가 저품질 여론조사를 양산하는 악순환이 반복돼 여론조사 생태계 자체가 망가지고 있다”고 말했다.

선진적 여론조사 기법을 개발·도입하기 위한 선행연구와 실험이 부족한 것도 문제다. 여심위는 조사 전문 인력이 5명에 불과해 세밀한 조사 사후검증은 엄두도 못 내는 실정이다. 경범훈 여심위 사무국장은 “응답률은 점차 낮아지고 조사환경은 나빠지는데 이를 보완할 연구실험이 놀라울 정도로 부족한 상황”이라며 “국가 차원에서 과학적인 연구방법과 기반을 구축하며 동시에 여론조사 연구를 위한 전문인력을 키워야 한다”고 말했다.

탐사보도팀=김태윤·최현주·현일훈·손국희·정진우·문현경 기자 pin21@joongang.co.kr

"전화면접이 2급조사면, ARS는 3급 조사"

지난달 30일 한국조사협회 이사회는 ‘ARS 조사를 하지 않겠다’는 재결의안을 통과시켰다. 이 협회는 한국갤럽, 칸타코리아, 닐슨코리아, 한국리서치 등 대형여론조사 업체 48곳이 회원사로 가입해 있는 국내 최대 여론조사기관 협의체다. 협회는 지난 2014년에도 ‘ARS 행동 규범’을 제정해 ARS 조사를 수행하지 않겠다고 결의했다. 회원사인 코리아리서치 원성훈 부사장은 “ARS가 과학적인 조사방법이 아니라는 점을 재확인하고 결의를 다지는 차원”이라고 말했다. 한편 리얼미터·에이스리서치 등 ARS조사를 위주로 하는 중소업체들은 정치조사협회를 결성해 자신들의 입장을 대변하고 있다. 여론조사업계에 메이저리그와 마이너리그가 있다는 얘기가 나오는 이유다.

폭증하는 ARS 조사. 그래픽=박경민 기자 minn@joongang.co.kr

여심위가 펴낸 ‘선거여론조사 백서’에 따르면, 지난해 지방선거 관련 여론조사(2017년 5월 10일~2018년 6월 13일 기준) 4349건 중 ARS 방식(전화면접 포함)은 88.2%(3839건)에 달했다. 특히 지방선거 직전 5개월간 ARS가 사용된 조사는 1107건으로 직전 지방선거 때보다 138%(465건) 늘었다.

ARS 조사가 급증하는 것은 저렴하고 빠르게 조사를 할 수 있기 때문이다. ARS 시스템만 설치하면 별다른 인력 없이도 조사를 할 수 있고, 심지어 ARS 장비를 임대해 조사하는 업체도 있다. 조사 비용은 전화면접이 표본 1명당 1만~1만3000원가량 드는 반면, ARS는 2000~4000원에 불과하다.

하지만 ARS 조사는 낮은 응답률, 여성과 특정 연령대의 높은 조사 거절률, 특정 진영에 유리하다는 불신 등으로 논란이 끊이지 않는다. 허명회 고려대 통계학과 교수는 “전화면접이 2급 조사라면, ARS는 3급 조사”라며 “ARS는 나쁘게 말하면 전화가 오기를 기다리는 특정 진영의 응답자가 많을 가능성이 있는 조사이고, 품질면에서 전화면접과 차이가 크기 때문에 주요 언론에서는 ARS 조사는 인용 보도하지 않는 것이 맞다”고 말했다. 이와 관련, 미국 CNN 방송은 향후 미국 대통령 선거에서 ARS 방식의 전화 여론조사 결과는 인용 보도하지 않겠다고 지난 7월 발표했다.
탐사보도팀