'여론조사에 대한 조사'에선 민주당 우세한 듯하지만 속단 곤란

중앙선데이

입력

업데이트

이준웅의 총선 레이더 ⑥ 여론조사 총합방법

그래서 도대체 누가 이긴다는 거야. 선거철이면 누구나 궁금해하면서도 차마 대놓고 묻지 못하는 질문이다. 혹시 이런 질문을 받으면 나는 일관되게 응답한다. 실로 선거예측과 관련해서 할 말이라고는 이것밖에 없기 때문이다. 첫째, 최신 여론조사 결과를 찾아서 바로 직전 자료와 직접 비교해 보시라. 둘째, 이렇게 비교해서 얻은 그 느낌보다 강한 어조로 선거결과를 장담하는 사람을 믿지 말라.

총선이라면 더욱 그렇다. 전체적인 판세도 중요하지만, 주요 지역구 내에서 벌어지는 정치적 역학관계를 봐야 한다. 광역 수준에서 부는 바람까지도 고려해야 한다. 이렇게 면밀하게 검토해도 지난번에 말했던 편향적인 여론조사 결과를 들고 있다면 소용없다. 체계적으로 한쪽으로 쏠리는 정보에 빠져 반대편 사정은 무시하다가 선거 당일 저녁에 충격을 받을 수 있다. 편향된 조사결과에 휘둘리지 않는 방법은 없을까.

그래픽=이정권 기자 gaga@joongang.co.kr

여론조사 총합방법이란 게 있다. ‘여론조사에 대한 조사(poll on polls)’라고 부르기도 하는데, 이미 발표된 여론조사 결과들을 종합해서 새로운 민심의 지표를 만들어 내는 방법이다. 2005년 스탠퍼드대의 잭맨 교수가 호주 연방선거에 대한 여론조사 자료를 분석해서 조사기관 편향을 추정하는 데 사용한 이후, 세계적으로 유행하고 있다. 이 방법은 교란 요소가 많은 공간에서 오차와 편향을 반영한 정보를 갱신해서 움직이는 타깃을 맞추는 데 사용하는 킬만 필터를 여론조사에 응용한 것이다.

총선을 앞두고 여론조사가 쏟아진다. 2월 15일 기준으로 지난 1년간 전국 정치여론조사가 297건이요, 지역 조사까지 더하면 880건에 달한다. 놀이 삼아서 여론조사심의위원회 사이트에 들러 조사결과를 내려받아 보기 바란다. 이렇게 조사해서 발표해도 되나 싶은 조사가 수두룩하다.

〈그림 1〉은 여론조사심위원회 사이트에서 얻은 150개 전국 조사자료를 가지고 베이즈 추정방식으로 정당지지도를 총합한 결과다. 두 가지가 뚜렷하다. 첫째, 음영으로 나타낸 95% 신용구간에서 벗어난 조사결과들이 많아도 너무 많다. 국민의힘 지지율이 민주당 지지율의 95% 상한을 넘거나 그 반대인 경우마저 보인다. 둘째, 이런 무수한 편향과 오차에도 불구하고 조사결과를 배경 삼아 진행하는 잠재적 정당지지도 흐름은 어쩐지 안정적이다. 올해 초를 지나면서 그리고 이번 설을 앞두고, 지지도 차이가 감소하는 양상을 고려하더라도 그렇다.

물론 이 그림만 보고 이번 총선에서 섣불리 민주당이 우세하리라고 속단하면 곤란하다. 일단 전국적으로 지지도가 높은 정당이 개별 지역구에서 더 많은 당선자를 내라는 법은 없다. 앞서 말했듯이 개별 선거구와 지역의 동학을 고려해야 한다. 또한 이 분석에 투입된 여론조사 자료들 전체에 체계적인 편향이 개입하고 있을지도 모른다. 마지막으로 더 깊숙하게 들어가 묻자면, 여론의 움직임이라는 게 진짜 킬만 필터의 논리에 따라 작동하는 것인지도 알 수 없다. 즉 이런 그림을 얻기 위해 사용한 통계 모형은 단지 여론변화를 흉내내고 있는 데 불과할지도 모른다.

미국 대통령선거 예측에 사용했던 여론조사 총합방법을 평가해 보자. 2008년과 2012년 대선에서 네이트 실버를 비롯한 신기술로 무장한 여론전문가들이 ‘여론조사에 대한 조사’를 이용해서 연달아 예측에 성공했다. 이들은 기세를 몰아 2016년 도널드 트럼프 대 힐러리 클린턴 대결에서 힐러리가 안정적으로 승리할 것이라 장담했고, 프린스턴 컨소시엄의 새뮤얼 왕이란 연구자는 만약 트럼프가 이긴다면 ‘벌레라도 먹겠다’고 선언했다.

〈그림 2〉는 〈그림 1〉을 얻기 위해 사용한 같은 베이즈 추정방식 모형을 적용해서 2016년 미국 대선에서 나온 259개 여론조사 자료를 총합한 결과다. 실로 이런 분석결과를 얻는다면 힐러리가 승리하겠다고 장담하지 않기도 어려울 것 같다. 세계의 여론조사 전문가들이 2016년 미국 대선 예측결과를 놓고 자료를 재분석하면서 아직도 반성에 반성을 거듭하고 있다. 다음 〈이준웅의 총선 레이더〉에서는 그런 반성 중에서 몇 가지 의미심장한 내용을 소개하고자 한다.