신통방통 구글 신은 어디로 갔나

빅데이터와 인공지능의 미래

이준기 연세대 정보대학원 교수

“거울아 거울아, 세상에서 누가 가장 예쁘니?” 잠시 후 거울이 대답한다. “백설공주입니다”. 여기서 잠시 ‘동심 파괴’ 질문을 해보자. 도대체 마술 거울은 어떤 원리로 세상에서 가장 예쁜 사람을 알아낼 수 있을까.

검색량 빅데이터만 활용했다가 #투표결과 예측 잇따라 실패한 구글 #인간 행동 관련 전문지식 결합해야 #미래 보는 ‘마술 거울’ 만들 수 있어

현재를 사는 우리에게 마술 거울 비슷한 것이 주어졌다. “구글아 구글아, 이번 선거에서 누가 이길 것 같니?” 구글은 2014년 서울시장 선거에서 박원순 후보가 55% 대 45%로 정몽준 후보를 이긴다고 예상했다. 놀랍게도 실제 결과는 박원순 56% 대 정몽준 43%였다. 그 뒤 몇몇 선거에서 또다시 예측이 맞아떨어지자 구글은 ‘마술 거울’에서 벗어나 ‘구글 신’의 위치에 오르기 시작했다. 여기서 똑같은 질문을 해보자. 도대체 구글은 어떻게 선거결과를 예측할 수 있었을까.

답은 의외로 간단하다. 각 후보에 대한 검색량을 단순 비율로 나타낸 것이다. 검색량은 ‘구글 트렌드’ 사이트에서 검색 단어를 넣으면 누구나 확인할 수 있다. 그렇다면 ‘검색량이 과연 그대로 선거 결과에 이어질 수 있을까’하는 궁금증이 생길 것이다. 즉, 데이터의 적합성에 관한 의문이다. 자, 이 의문은 잠시만 접어두자.

과거보다 우리는 엄청난 양의 데이터를 생산하고 있다. 인류가 생긴 후 지금까지 만들어진 모든 데이터의 90% 이상은 최근 1년 동안 생성됐다고 한다. 과학자들은 이 많은 데이터를 이용해 지금까지 못하던 무언가를 할 수 있다는 것을 깨닫기 시작했다. 그로 인해 빅데이터와 딥러닝 인공지능의 새로운 시대가 도래했다.

검색은 인간의 행동을 반영한다

미래를 묻다 4/13

우리는 일상생활에서 정보를 찾으려 네이버·구글 등에서 검색을 한다. 전 세계적으로 구글에서 사람들은 1초에 6만3000건을 검색한다. 하루 54억4000만 건이다. 많은 경우 검색은 사람들의 행동을 반영한다. 예를 들어 서울에서 누군가 갑자기 ‘강릉 맛집’을 검색한다면, 우리는 이 사람이 강릉 여행을 계획한다고 예측할 수 있다.

검색과 행동 패턴 빅데이터를 분석해 성공했다고 가장 많이 인용된 사례 중 하나가 아마 구글의 ‘독감 예측 시스템’일 것이다. 이름 그대로 검색어와 인간의 행동을 매치시켜 독감에 대해 예측을 한다. 예를 들어 갑자기 ‘오한’ ‘기침’ ‘콧물’ 등을 검색한다면, 본인이나 자녀 등에게서 감기 증상이 나타났다고 볼 수 있다.

그 전까지 미국에서 독감 예방 주의보를 내렸던 것은 질병통제예방센터(CDC)다. CDC는 병원 기록을 토대로 독감 환자가 갑자기 늘 때 예방주의보를 발령하곤 했다. 이렇게 하면 독감이 돌기부터 예보를 내리기까지 통상 2주 정도가 걸린다. 따라서 독감이 한창 유행할 때 예방주의보를 내리는 경우가 많다. ‘예방주의보’라지만 실제로는 ‘공습경보’였던 셈이다.

반면 구글의 독감 예측 시스템은 미리 정해진 단어들을 추적해 검색 건수가 늘면 독감 예방주의보를 바로 내렸다. 이를 통해 CDC 방식보다 훨씬 빨리 주의보를 발령할 가능성을 제시했다.

처음엔 잘 들어맞았다. 정확도가 97%에 달했다. 하지만 점점 빗나갔다. 시스템은 지속해서 독감 환자 수를 과다 추정했고, 믿을 수 없는 숫자를 배출했다. 구글은 문제를 인지하고 2015년 8월 더는 서비스를 계속하지 않기로 결정했다. 빅데이터의 가장 성공적인 결과로 소개되던 이 시스템은 슬그머니 문을 닫게 됐다.

독감 예측은 그런 운명을 맞았다. 그렇다면 ‘구글 신’의 선거 예측은 어떻게 됐을까? 마찬가지로 가끔만 맞는 양상이 반복됐다. 그저 흥밋거리를 넘어서는 대안은 되지 못했다. 예를 들어 2018년 서울시장 선거 때 구글은 안철수 50%, 박원순 29%, 김문수 21%를 예상했지만, 결과는 박원순 53%로 완전히 틀린 결과를 보여줬다. 그래서 다시 선거결과 예측에 대한 질문으로 돌아오게 된다. ‘검색량’이란 데이터로 선거 결과를 예측할 수 있는 것일까.

검색량은 그 후보자에 대한 관심도를 나타낸다고 할 수 있다. 하지만 단순 검색량은 누가 어떤 의도로 검색했는지 보여주지 않는다. 만일 어느 후보와 관련한 추문이 터져 검색 건수가 폭증했다면, 이때 검색량 비중은 실제 선거 결과와 거꾸로 갈 수도 있다.

결론은 ‘아무리 빅데이터라고 해도 단순 검색량 데이터만으로 선거 결과를 예측하는 것은 적합하지 않다’는 것이다. 그럼 인공지능이나 빅데이터로 미래를 예상하는 것은 불가능할까. 여기서 앞으로 인공지능의 방향을 짚을 수 있다. 2016년 미국 대선에서 모든 여론조사 기관이 도널드 트럼프의 당선을 내다보지 못했을 때, 모그IA(MoglA)라는 인공지능 시스템은 트럼프의 승리를 맞췄다. 블루닷(BlueDot) 이라는 회사는 최근 신종 코로나바이러스의 창궐을 미리 경고했고 확산 경로를 정확히 예측했다.

인공지능은 진짜 전문가를 대체할 수 없다

구글 트렌드에서는 선거 등과 관련한 검색량 추이를 찾아볼 수 있다. [구글 트렌드 캡처]

이들이 사용하는 모델은 단순히 검색량만을 보지 않는다. 선거 예측에선 한 사람이 검색하는 내용을 추적해 성향 등을 추정하고, 검색 단어 전체를 살펴 지지할 의도로 찾아보는 것인지 아닌지를 파악한다. 바이러스 확산에서도 각국 보건통계뿐 아니라 SNS, 숙주가 되는 가축 통계, 사람의 이동을 보여주는 전 세계 비행기 티켓 판매 현황 등을 물리학자와 컴퓨터 과학자가 15분마다 체크하고 토론해 경로에 대한 결론을 내린다.

빅데이터와 인공지능은 새로운 예측 모델을 제공하는 재료와 도구이지, 모은 데이터 자체가 적합성이 없을 때도 결과를 척척 맞히는 마술 거울이 아니다. 우리는 흔히 ‘빅데이터 분석’ 또는 ‘인공지능’ 이란 단어에 현혹돼 우연하거나 과학적이지 않은 결과를 신뢰하게 된다. 또한 인공지능이 전문가를 대체해 휙휙 원하는 결과를 보여줄 것이라 예상한다.

분명 그럴 수 있는 분야도 많다. 영상 판독, 신용카드 이상 여부 탐지, 지원서 표절 찾아내기 등이다. 그렇지만 사회나 경제 문제 등 복잡한 상호작용이 이뤄지는 ‘열린 환경’에 적용하기 위해서는 데이터 과학에 대한 이해, 그리고 주어진 문제에 대한 전문지식이 더욱 필요하다. 표본의 대표성, 응답률, 답변의 진위성, 실제 투표 참여율 같은 선거의 속성을 모르고서는 검색 데이터만으로 선거 결과를 예측하기 힘든 것과 같은 이치다.

앞으로 세계는 ‘인공지능에 지배되는 사람’과 ‘인공지능을 지배하는 사람’으로 나뉜다고들 한다. 인공지능이 대체할 전문가와 그것을 넘어설 초 전문가로 나뉠 것이란 얘기다. 초 전문가는 필요한 데이터를 선별해 내고, 자신의 환경에 맞춘 인공지능 모델을 만들며, 인공지능 결과와 전문성을 결합해 세상에 필요한 결과를 낼 수 있는 사람이다.

‘스케이트’ 검색 늘면 독감이 퍼진다

슬며시 사라진 구글의 독감 예측 시스템은 어떤 문제가 있었을까. 이 시스템은 기본적으로 감기와 관련된 검색어와 실제 미국 질병통제예방센터(CDC)가 갖고 있던 과거 독감 환자 수 데이터를 비교해 만들었다. 즉, 과거에 어떤 단어 또는 단어 조합의 검색 수가 실제 독감 환자 수의 변화와 제일 같이 움직였는가 하는 상관관계를 역추적해 계산한 것이다.

이 같은 접근 방법의 가장 큰 문제점은 너무나 많은 단어에서 상관관계가 나올 수 있다는 것이다. ‘기침’ ‘코막힘’ ‘열’이 독감과 상관관계가 높을 것은 당연지사다. 그뿐 아니다. 예를 들어 ‘스케이트’ 검색 건수도 독감 환자 수와 높은 상관관계를 보인다. 겨울이면 동계 스포츠에 대한 검색이 늘고, 마찬가지로 독감도 겨울에 유행해 상관관계가 성립되는 것이다.

이보다 예측을 더 힘들게 하는 요인도 있다. 어떤 사건을 계기로 예측 모델에 포함된 검색어가 갑자기 언론에 노출된 경우다. 이럴 때면 구글 시스템은 실제보다 2~3배 이상 높은 예상을 내놓곤 했다. 독감에 걸리지 않은 사람이 뉴스 검색을 통해 독감 관련 검색량을 대폭 증가시킴으로써, 구글 시스템이 마치 실제 독감 환자가 늘어난 것처럼 착각하게 만드는 것이다.

사실 비교 연구에서 구글 독감 예보 시스템은 CDC보다 예측력이 떨어지는 것으로 나왔다. 그렇다면 이런 빅데이터 분석은 우리에게 전혀 도움이 되지 못하는 것인가. 반가운 소식은 기존의 CDC 자료(스몰 데이터)와 구글 검색을 합쳤을 때 훨씬 예측력이 좋아진다는 결과가 나오고 있다는 점이다.

SNS를 통한 빅데이터 분석은 현재 우리가 하는 스몰 데이터 분석의 대체재라기보다 보완재다. 단순히 빅 데이터가 있으니 기존의 스몰 데이터 분석은 필요 없다는 식의 접근에서 벗어나 빅·스몰 데이터를 어떻게 결합하는가가 향후 가장 핵심적인 역량으로 자리 잡을 것이다.

이준기 연세대 정보대학원 교수