김광석·김현식 노래 다시 들을 수 있다고? AI가 소환한 레전드

중앙일보

입력

12년만 완전체 거북이 “다시 시작해”

AI음악프로젝트 ‘다시 한번’에서 재현한 거북이의 터틀맨이 ‘새로운 시작’을 부르는 모습. [사진 Mnet]

김현식ㆍ김광석ㆍ신해철 등 세상을 떠난 전설적인 가수들의 무대를 다시 볼 수 있을까. 지난 9일 방송된 Mnet 2부작 AI음악프로젝트 ‘다시 한번’은 이 같은 질문에서 시작한 프로그램이다. 제작진은 2008년 심근경색으로 숨진 터틀맨(임성훈)의 생전 자료를 토대로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현해 3인조 혼성그룹 거북이의 완전체 무대를 만드는 데 성공했다. 넉넉한 미소를 띤 터틀맨은 “다시 시작해(…)인생이라는 건 각자 주인공인 거야”라는 랩 가사를 읊조리며 등장해 안무까지 완벽하게 소화했다. 터틀맨과 함께 무대에 올라 JTBC 드라마 '이태원클라쓰' OST '시작'의 편곡 버전 ‘새로운 시작’을 부른 거북이 멤버 지이와 금비는 감격을 금치 못했다.

Mnet ‘다시 한번’ AI 기술로 터틀맨 구현 #SBS ‘인간 vs AI’ 모창 등 6개 종목 대결 #볼류매트릭·디지털 휴먼 등 기술 발전 #BTS 슈가 재현한 MAMA 등 이색 무대도

미국 래퍼 투팍이 2012년 코첼라 페스티벌 무대에 오르고 팝의 황제 마이클 잭슨이 2014년 빌보드 뮤직 어워드에 등장하는 등 홀로그램을 이용한 무대 연출은 종종 있었지만 최근 화두로 떠오른 것은 단연 AI다. 3차원 영상으로 된 입체 사진인 홀로그램과 달리 AI는 학습을 토대로 자유자재로 응용이 가능한 덕분이다. CJ ENM 콘텐츠R&D센터 김동규 프로듀서는 “터틀맨의 일상과 무대 위 모습에 대한 사진과 동영상 자료를 취합하고 GAN(생성적 적대 신경망) 기술을 사용해 자연스럽고 생동감 있는 표정을 만들어냈다”며 “기술과 스토리의 결합으로 감동과 위로를 전하고자 했다”고 설명했다. 16일 방송되는 2회에서는 올해 30주기를 맞은 김현식 편을 준비 중이다.

96년 떠난 김광석이 부르는 ‘보고싶다’

‘세기의 대결! 인간 vs AI’에서 AI가 학습한 김광석 목소리로 ‘보고싶다’를 부르는 모습. [사진 SBS]

SBS가 내년 1월 방송을 앞둔 신년특집 4부작 ‘세기의 대결! AI vs 인간’ 첫 편으로 모창 AI를 내세운 것도 같은 맥락이다. 1996년 세상을 떠난 김광석의 목소리로 2002년 발표된 김범수의 ‘보고싶다’를 부르는 티저 영상이 1일 공개되면서 화제를 모았다. SBS 시사교양본부 남상문 국장은 “2016년 알파고에 이어 2019년 한돌과 이세돌 9단의 대국을 중계하면서 지난 3년간 AI의 발전 속도에 깜짝 놀랐다”며 “박세리와 AI 골퍼 엘드릭이 대결하는 롱드라이브와 퍼팅 등 수치가 명확히 나오는 분야부터 작곡ㆍ심리인식ㆍ오디오 몽타주 등 우열을 가리기 힘든 영역까지 총 6가지 종목을 준비했다”고 말했다.

‘다시 한번’과 ‘AI vs 인간’에 참여한 오디오 전문 AI 업체 수퍼톤은 음성 복원 과정을 악기 만드는 것에 비유했다. 글자를 음성으로 옮기는 TTS(텍스트 투 스피치) 기술에 악보 정보를 같이 집어넣어서 훈련한 모창 AI에 각 가수의 목소리 데이터를 입력하면 어떤 노래든 그 가수처럼 부를 수 있단 얘기다. 수퍼톤 최희두 운영이사는 “AI 스피커로 뉴스 같은 평서문을 읽는 것은 가능하지만 감정 표현은 어려움이 있었다. 3년간 연구한 결과 지난해 국제음성처리신호학회 인터스피치에서 최우수 논문상을 받고 세계 최초로 가창 합성 기술을 상용화하게 됐다”며 “노래뿐 아니라 연기도 가능해 버추얼 인플루언서 등으로 확대하는 작업을 진행 중”이라고 밝혔다.

불참한 슈가와 함께 BTS ‘라이프 고스 온’

엠넷 아시안 뮤직 어워드에서 방탄소년단이 ‘라이프 고스 온’을 부르는 모습. 어깨 수술로 회복 중인 슈가를 볼류매트릭 기술로 구현해 함께 무대를 꾸몄다. [사진 Mnet]

이러한 기술의 발전은 여러 가지 사정으로 무대에 직접 오르지 못하는 연예인을 대신할 수도 있다. 지난 6일 ‘엠넷 아시안 뮤직 어워드(MAMA)’에서 어깨 수술로 활동을 중단한 방탄소년단(BTS) 슈가의 자리는 볼류매트릭 기술로 구현한 ‘가상 슈가’가 채웠다. ‘라이프 고스 온’ 무대 중간에 걸어 나온 그의 모습은 카메라 여러 대로 동시에 촬영한 실사 기반 입체 영상으로 만들어졌다. 비브스튜디오스 박유진 PM은 “슈가를 직접 촬영해 3D 데이터를 추출한 후 노이즈를 제거하고 다른 멤버들과 이질감을 없애기 위해 다시 클린업 작업을 했다. 조명이 매우 중요해서 여러 차례 리허설한 끝에 얻은 결과물”이라고 설명했다. 컴퓨터 그래픽과 시각효과 전문 업체로 시작한 비브스튜디오스는 지난 2월 MBC 스페셜 VR 휴먼 다큐멘터리 ‘너를 만났다’에서 디지털 휴먼을 선보이는 등 다양한 영역으로 사업을 확대해 나가고 있다.

코로나19 장기화로 대세가 된 온라인 콘서트가 다양한 기술을 선보이는 각축장이 되기도 했다. 지난 10월 온라인 콘서트에서 증강현실(AR)과 확장현실(XR)을 접목한 콘텐트를 선보인 방탄소년단은 오는 31일 빅히트 레이블즈 합동공연 ‘뉴 이어스 이브 라이브’를 앞두고 있다. 팀별 무대뿐 아니라 신해철 헌정 무대가 어떤 식으로 꾸며질지도 기대를 모은다. 2013년 소녀시대 V(가상) 콘서트, 2015년 홀로그램 뮤지컬 ‘스쿨 오즈’를 선보이는 등 꾸준히 컬처테크놀로지(CT)에 관심을 가져온 SM엔터테인먼트는 지난 4월 온라인 전용 콘서트 ‘비욘드 라이브’를 론칭하고 지난달 가상 세계의 아바타와 현실 세계의 멤버가 공존하는 걸그룹 에스파(aespa)를 선보인 바 있다.

“기술 어떻게 쓸지 사회적 합의 필요”

이로 인해 새롭게 생겨나는 부작용이나 오남용 가능성은 극복해야 할 과제다. 수퍼톤 최희두 이사는 “실존하는 사람의 목소리를 학습하는 것이기 때문에 당사자나 유족의 동의가 있어야만 가능하다. 유출이나 악용을 막기 위해 개인 간 거래는 하지 않고 기업 간 거래만 하고 있다”고 밝혔다. CJ ENM 김동규 프로듀서는 “이번 프로젝트는 시작부터 상업적 요소를 철저하게 배제했다. 방송에서 선보인 음원을 발매하지 않는 것도 그 때문”이라고 설명했다. SBS 남상문 국장은 “기술을 만드는 것은 과학자의 몫이지만 그 기술이 어떻게 사용될 것인지 사회적 합의를 끌어내는 것은 인문학자가 해야 할 일”이라며 “안면 인식 기술만 해도 초상권ㆍ저작권ㆍ인권 등 다양한 이슈가 맞물려 있기 때문에 더 많은 논의가 필요하다”고 말했다.

민경원 기자 storymin@joongang.co.kr