60대 최민식 확 젊어졌다…얼굴·목소리 싹 30대로 바꾼 마법

디즈니플러스 오리지널 시리즈 '카지노'에서 최민식은 카지노의 전설 '차무식'의 30~50대를 연기했다. 디즈니플러스

“만족한다.”
배우 최민식(61)이 디즈니플러스 드라마 ‘카지노’ 속 자신의 30대 모습에 대해 이렇게 평가했다. 25년 만의 드라마 복귀작에서 최민식은 카지노의 전설이 된 주인공 ‘차무식’의 30대부터 50대까지를 연기했다.

“가장 큰 도전은 차무식(최민식)을 젊게 만드는 안티에이징(anti-aging)이었다.”
‘카지노’를 연출한 강윤성 감독은 지난달 열린 제작발표회에서 이번 작품의 가장 큰 수확으로 젊은 차무식을 가능케 한 디에이징(de-aging) 기술을 꼽았다. 사실감을 중시하는 강 감독의 연출에 디에이징 기술이 자연스럽게 녹아 들어가는 것이 관건이었는데, 수없이 테스트하고 결과치를 뽑아내며 배우와 감독 모두 만족하는 작품이 나온 것이다.

배우 최민식이 14일 서울 종로구 JW 메리어트 동대문 스퀘어 서울에서 열린 디즈니+ 오리지널 시리즈 '카지노' 제작발표회에서 질문에 답하고 있다. 연합뉴스

디즈니플러스 오리지널 시리즈 '카지노'에서 최민식은 카지노의 전설 '차무식'의 30~50대를 연기했다. 디즈니플러스

넷플릭스 드라마 ‘오징어 게임’으로 에미상 특수시각효과상을 받았던 씨제스걸리버스튜디오의 VFX(시각특수효과)팀이 AI(인공지능) 기반 페이스(얼굴) 디에이징 작업을 맡았다. AI 보이스(음성) 디에이징은 음성 합성·분리 원천기술을 보유한 스타트업 수퍼톤이 담당했다.

최민식의 30대 얼굴·목소리, AI가 만들었다        

보이스 디에이징 기술이 영상 작품에 적용된 것은 세계 최초다. 최희두 수퍼톤 운영이사는 “누군가의 목소리를 복원하는 개념이 아니라 실존하는 배우의 연기 톤 자체는 살려 놓고 나이만 어리게 만든다는 점에서 세계 최초로 구현한 기술이다”라고 말했다.

그간 디에이징 작업은 얼굴 등 외모에 집중돼 있었다. 이교구 수퍼톤 대표는 “영상에서 시각적인 부분이 중요하다 보니 페이스 디에이징이 먼저 상용화됐지만, 목소리와 얼굴의 부조화로 몰입감이 떨어진다는 문제가 있었다”고 말했다.
대표적인 예로 마틴 스코시지 감독의 영화 ‘아이리시맨’(2019)을 들었다. “영화에서 젊은 배우를 섭외하지 않고도 페이스 디에이징을 통해 과거 일대기를 연출할 수 있었지만, 목소리는 여전히 아쉽다는 지적이 많았다”고 설명했다. '카지노' 팀이 보이스 디에이징을 시도하게 된 계기다.

작업에는 하나부터 열까지 AI의 역할이 컸다. AI는 ‘서울의 달’(1994) ‘파이란’(2001) ‘올드보이’(2003) 등 최민식의 이전 작품 속 목소리를 분석했다. 30대 전후 최민식의 목소리를 다양한 모델로 구현했고, 제작진은 연기 톤과 감정선이 가장 잘 어울리는 목소리를 찾아냈다. 그리고 촬영이 완료된 현장 녹음본을 30대 최민식 목소리로 변환시키는 작업을 진행했다.

최민식의 현재 60대 목소리(좌)와 ‘AI 보이스 디에이징’으로 재현한 젊은 시절 30대 목소리(우). 주파수가 60대 목소리에선 흩어져있지만 30대는 안정적으로 재구성됐다. 디즈니플러스

페이스 디에이징 역시 AI 기술을 활용했고, 제작 과정은 보다 간단해졌다. AI는 딥러닝 방식으로 30년 전 최민식 작품을 모두 분석해 얼굴의 특징과 이미지를 데이터베이스화했다. 이후 실제 카지노 촬영본에서 AI 알고리즘이 배우의 움직임을 파악하고 추적해 젊은 시절의 얼굴을 합성하는 방식으로 작업했다. 배우가 머리에 장비를 쓰고 얼굴 근육에 마커(점)를 찍어 3D로 얼굴을 교체합성하던 기존의 방식보다 훨씬 빠르게 작업이 가능하다.

이주원 씨제스걸리버스튜디오 VFX 감독은 “윌 스미스 주연의 '제미니맨'(2019) 등 기존 3D 방식은 준비작업에만 최소 20일 정도가 걸리지만, AI 기술을 이용하면 하루 만에 50컷 정도의 모델을 찍어낼 수 있다“고 말했다. 이어 “‘카지노’는 해외 로케이션이 전체 분량의 80%를 차지하는 만큼 기술 세팅 기간을 단축하면서 동시에 퀄리티를 보장할 수 있는 방법이 필요했다”면서 “AI 기술 기반 디에이징을 처음으로 작품에 적용해 만족할 만한 결과물을 얻었다는 점에서 의미가 크다”고 강조했다.

작업이 수월하기만 했던 것은 아니다. 이 감독은 “‘서울의 달’ 등 예전 작품들이 대부분 해상도가 매우 낮은 비디오 영상이었고, 젊은 최민식 배우가 일반적인 얼굴로 나온 '해피엔드'(1999)를 빼고는 대부분의 작품에서 수염·상처 등 분장을 해서 AI가 학습하기에 난해한 부분이 있었다”고 설명했다.

또 배우의 이미지와 연기를 해치지 않는 선에서 작업을 해나가야만 했다. “최민식 배우는 30~40대 초반 작품을 봐도 눈 밑에 주름이 있는데, 젊어 보이게 한다고 이 주름을 완화하면 전혀 다른 사람이 되더라”면서 “미세하게 떨리는 눈꼬리 연기나 밤새운 다음 날의 연기를 할 때 등의 경우엔 디에이징이 시청자의 몰입감을 방해하지 않도록 신경 썼다”고 이 감독은 말했다.

페이스 디에이징 작업을 맡았던 이주원 VFX 감독(좌)과 전승만 CG 수퍼바이저(우). 씨제스걸리버스튜디오

“AI 기술과 예술의 시너지”

‘카지노’를 통해 AI 기반 디에이징 기술의 실용성이 입증되면서 더 많은 영상 콘텐트과 문화·예술 영역으로의 확장도 기대해 볼 수 있게 됐다. 이주원 감독은 “과거에는 사람의 얼굴을 그래픽으로 바꾸는 작업이 비용적·기술적으로 힘들었기 때문에 손에 꼽을 정도의 적은 빈도로 이뤄졌다”면서 “'카지노'를 통해 그런 작업이 AI 기술에 기반해 가능하다는 것을 보여줬기 때문에 앞으로 수요가 더욱 많아질 것으로 본다”고 말했다.

보이스 디에이징 작업을 한 수퍼톤 측은 ‘디에이징 기술은 전체 기술의 일부일 뿐’이라면서 ‘VFX의 목소리판’을 실현하겠다는 자신감을 드러냈다. 이교구 대표는 “영화 뿐 아니라 음악·게임·드라마·메타버스까지 여러 영역에서 제안이 들어오고 있다”면서 “기술진조차 상상하지 못한 것들을 크리에이터와 창작자들이 제안하는 걸 보면서 기술과 예술의 시너지가 엄청나다는 걸 느끼고 있다”고 말했다.

어환희 기자 eo.hwanhee@joongang.co.kr