'AI 김주하' 판독 못한 카이스트…가짜 'AI 이재명·윤석열' 어쩌나

중앙일보

입력

윤석열 국민의힘 후보를 본따 만든 ‘AI 윤석열’(왼쪽)과 김동연 무소속 후보의 아바타 ‘윈디’(오른쪽)의 모습. 두 영상 모두 딥페이크 기술로 만들었다. 윤석열·김동연 후보 선대위.

“안녕하세요 AI 윤석열입니다. 윤석열 후보와 너무 닮아 놀라셨습니까.” (AI 윤석열)

지난 6일 윤석열 국민의힘 후보 선거대책위원회 출범식에서 공개된 ‘AI 윤석열’이 한 말이다. 윤 후보의 음성을 실제와 거의 흡사하게 구현했으나, 이 말은 윤 후보가 직접 녹음하지 않았다. 대신 인공지능(AI)이 윤 후보의 영상을 반복 학습하는 방식으로 재현해냈다.

‘AI 윤석열’은 윤 후보의 외모를 똑 닮았으나, 고개를 좌우로 흔드는 이른바 ‘도리도리’ 습관은 따라 하지 않았다. 여권에선 이런 점을 지적하며 “좋지 않은 후보의 이미지와 부족한 언변을 감추기 위한 이미지 조작”(고삼석 전 방송통신위원)이란 비판이 나왔다.

다음 날엔 무소속 김동연 후보도 ‘AI아바타’ 영상을 공개했다. ‘윈디’라는 이름을 붙인 이 아바타도 AI를 이용한 딥페이크 기술로 만들었다. ‘윈디’는 영상에서 “저 윈디는 김동연 후보의 철학과 비전을 공유할 것”이라며 “저희 새로운 물결이 큰 파도가 되고 쓰나미가 돼서 아래로부터의 반란을 일으키겠다”고 밝혔다.

딥페이크(DeepFake)는 머신러닝 기술의 일종인 ‘딥러닝’(Deep learning)과 ‘페이크’(fake·가짜)의 합성어다. 특정 인물의 얼굴 등을 AI 기술을 이용해 특정 영상에 합성하는 기술이다. 한국 정치권에 딥페이크 기술이 등장한 건 이번이 처음이지만, 외국에선 이미 2018년부터 논란이 됐던 이슈다. 특히 딥페이크 기술로 정치인이 하지 않은 말을 직접 한 것처럼 지어내는 ‘악성 딥페이크’ 영상이 화제의 중심이었다.

대표적인 사례가 앙겔라 메르켈 전 독일 총리다. 유튜버에 올라온 한 영상에선 메르켈 전 총리가 히틀러와 비슷한 말투로 “유럽인들은 우리 손으로 운명을 결정해야 한다. 러시아와 함께”고 외친다. 블라디미르 푸틴 러시아 대통령과 메르켈 전 총리의 불편한 관계를 생각하면 실제 할 가능성이 전혀 없는 발언이다. 이 영상은 AI에 단 870개 이미지를 입력해 만들어냈다고 한다.

미국 온라인 언론 버즈피드(BuzzFeed)는 버락 오바마 전 미국 대통령의 딥페이크 영상을 만들었다. 2018년 4월 공개된 이 영상에선 오바마 전 대통령이 “트럼프 대통령은 완전 얼간이(dipshit)”라고 말한다. 물론 오바마 전 대통령이 직접 한 말이 아니다. AI가 머신러닝 기술로 오바마 전 대통령의 영상을 반복 학습해 실제와 비슷하게 구현해냈다.

이런 딥페이크 기술은 이미 외국 사이트에 무료로 공개돼 있다. 비트코인 채굴에 쓰이는 고성능 컴퓨터만 있으면, 언제든지 이재명 후보나 윤석열 후보가 과격한 발언을 하는 가짜 영상을 찍어낼 수 있다. 유튜버에서 활동하는 가상인물 ’루이’를 만든 오제욱 디오비스튜디오 대표는 “딥페이크 기술은 이미 오픈소스로 공개돼 있고 학습자료도 많다”며 “비전문가도 기술만 익히면 하루 이틀 만에 오바마 가짜영상을 만들 수 있다”고 말했다.

문제는 구멍이 뚫린 법제다. 지난해 ‘성폭력범죄의 처벌 등에 관한 특례법’이 개정되면서 디지털 성범죄에 대한 처벌 법규는 만들어졌지만, 아직 공직선거법엔 딥페이크 영상을 어떻게 다룰지에 대한 규정이 없다. 선거관리위원회도 딥페이크 가짜 영상물에 대해 정해진 입장이 없다. 질의가 오면 그때 입장을 정해 회신할 계획이라고 한다.

일각에선 선거법상 허위사실 공표죄로 규율이 가능하다는 관측이 나오지만, 현재 국내엔 영상의 진위를 판별할 기술이 사실상 없는 상태다. 정필모 더불어민주당 의원이 지난 10월 국정감사에서 공개한 자료에 따르면, 카이스트에서 만든 검증 도구로 ‘AI 김주하’ 앵커를 식별한 결과 “해당 얼굴이 딥페이크로 생성됐을 확률은 0.0%”라고 판독됐다. 선거 직전 가짜 영상이 유포되더라도 사실 여부를 가려낼 방법이 없는 상태다.

‘AI 김주하’와 실제 김주하 앵커의 사진을 카이스트가 개발한 검증 도구 ‘카이캐치(KaiCatch)’로 판독한 결과. 두 이미지 모두 ‘딥페이크’가 아닌 것으로 나타났다. 정필모 더불어민주당 의원실.

딥페이크 영상의 진위 판독이 어렵다 보니 미국 캘리포니아주는 아예 주법(AB 730)으로 선거 전 60일부턴 실제 정치인과 비슷하게 조작한 동영상·이미지·오디오의 제작을 금지하고 있다. 국내 IT업계에서도 성장 초기에 있는 국내 딥페이크 산업 육성을 위해서라도, 이번 대선에서 ‘악성 딥페이크’를 예방할 수 있는 대책이 필요하다는 지적도 나온다. 전창배 한국인공지능윤리협회 이사장은 “선거 때 딥페이크 영상을 어떻게 활용할지에 대한 가이드라인이 필요한 상황”이라며 “악의를 갖고 제작한 허위 영상이 바로 퍼지지 않도록 할 수 있는 구체적인 방지책도 마련돼야 한다”고 말했다.

오현석 기자 oh.hyunseok1@joongang.co.kr