'불쾌한 골짜기' 사라져 충격…3주만에 1400만뷰 찍은 걸그룹

중앙일보

입력

업데이트

진화한 3D 버추얼 아이돌

지난달 데뷔한 4인조 버추얼 아이돌 메이브. 최초의 ‘K팝 웹툰’ 등 엔터산업에서 새 영역을 개척하고 있다.

지난달 데뷔한 4인조 버추얼 아이돌 메이브. 최초의 ‘K팝 웹툰’ 등 엔터산업에서 새 영역을 개척하고 있다.

최근 전원일기 ‘응삼이의 부활’이 화제였다. 한 예능 프로그램에서 2020년 세상을 떠난 고(故) 박윤배 배우를 가상인간으로 구현한 것. 비록 모니터를 통한 상봉이었지만 전원일기 출연진과 자연스럽게 대화를 주고받으며 추억을 회상하는 모습이 감동적이었다. 실시간 인터랙티브 방식의 인공지능(AI) 딥페이크 기술로 감쪽같이 응삼이를 되살린 결과다.

때마침 출간된 논픽션 『AI 2041』 중 ‘가면 뒤의 신’ ‘유령이 된 아이돌’ 편을 보는 듯한 장면이었다. 『AI 2041』은 AI와 함께 할 근미래를 10편의 SF 단편으로 그린 세계적 베스트셀러인데, 2041년엔 딥페이크로 만든 가짜 동영상과 진짜를 구별하기 어려울 것이란다. 은퇴한 아이돌 대신 AI 아바타가 메타버스에서 활동하고, 미스터리 소설같은 스토리텔링을 적용한 이머시브 게임에 참여한 팬들은 게임 속에서 살해당한 아이돌이 실제 죽었다고 믿을 정도로 강하게 빠져든다.

4인조 버추얼 아이돌 메이브 [사진 메타버스엔터테인먼트]

4인조 버추얼 아이돌 메이브 [사진 메타버스엔터테인먼트]

헛소리 같지만 곧 도래할 신문물이다. 지난달 25일 MBC ‘쇼! 음악중심’으로 데뷔한 최초의 3D 버추얼 아이돌 ‘메이브’의 완성도를 봐도 짐작할 수 있다. 시우·제나·타이라·마티 4인의 버추얼 휴먼으로 구성된 메이브는 사람을 어설프게 닮은 존재에 불편함을 느끼는 ‘불쾌한 골짜기’를 건넜다는 평가다. 게임회사인 넷마블에프앤씨의 AI 버추얼 휴먼 제작 기술과 카카오엔터테인먼트의 음악 프로듀싱이 만나 메이브가 탄생했다. 중독성 강한 데뷔곡 ‘판도라’는 곧바로 멜론 최신곡 차트 5위에 진입했고, 뮤직비디오는 3주 만에 1400만 뷰를 찍었다.

데뷔곡 ‘판도라’ 멜론 최신곡 차트 5위

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

18일 두 번째로 ‘쇼! 음악중심’에 출연할 예정이라는데, 영화 ‘아바타’ 만큼 고품질이면서도 이렇게 빠르게 콘텐트를 생산할 수 있는 건 풀 3D 리얼타임 렌더링 기술 덕이다. 초당 30장이 필요한 이미지 1장당 렌더링에 4시간이 걸린 ‘아바타’의 기술이라면 5분짜리 영상 제작에 100대의 컴퓨터로 한 달쯤 걸리지만, 메이브는 격렬한 K팝 댄스를 추며 빠른 노래를 부르는 뮤비를 컴퓨터 10대로 이틀 만에 만들 만큼 진화된 기술이다.

메이브의 산실 메타버스엔터테인먼트 연구소에서 기술 일부를 직접 체험해 봤다. 176개의 고해상도 카메라가 360도로 빼곡히 박혀 있는 바디스캐너에 잠시 들어갔다 나오니 176장의 사진으로 몇 분 만에 나의 하이퍼리얼 3D 모델이 생성된다. 이 아이에게 며칠 동안 페이스 캡처로 얼굴 표정을 학습시키고 모션 캡처로 움직임을 제어하면, 배우 유아인의 가상인간 ‘무아인’처럼 나를 똑 닮은 버추얼 아바타가 된다.

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

릴 미켈라나 로지, 나수아 등 비주얼이 그럴싸한 버추얼 휴먼은 이미 많다. 글로벌 시장조사업체 이머전리서치에 따르면 전 세계 버추얼 휴먼 시장 규모가 2021년부터 연평균 36.4% 성장해 2030년 5276억 달러(약 686조원)에 이른다. 메이브의 차별점은 ‘아이돌’이라는 정체성에 AI 기술이 본격 적용된 점이다. 누구나 선호하는 이목구비와 800가지 표정 변화를 만들어 내는 데 스테이블 디퓨전 방식과 GAN(생성적대립신경망)을 활용한 이미지 생성 기술이 사용됐고, 누가 노래해도 메이브의 목소리로 변환 가능하다.

메타버스엔터테인먼트 강성구 CTO는 “세계적으로 버추얼 휴먼 제작에 다양한 기술이 나오고 있지만 고품질의 풀 3D 버추얼 휴먼이 그룹으로 활동하는 경우는 없었다. 메이브는 실시간 렌더링으로 기존에 상상하기 어렵던 다이나믹한 움직임을 구현한 AI 기술력으로 시장에 충격을 주고 있다”고 자평했다.

4인조 버추얼 아이돌 메이브 [사진 메타버스엔터테인먼트]

4인조 버추얼 아이돌 메이브 [사진 메타버스엔터테인먼트]

대기업의 기획과 비싼 기술로 탄생한 ‘금수저’ 메이브가 공중파 음악방송으로 데뷔하며 글로벌 인지도를 얻었다면, ‘흙수저 아이돌’도 있다. 2021년 탄생했지만 아직 음악방송에 서지 못한 11인조 걸그룹 ‘이터니티’는 상대적으로 비용이 저렴한 2D 딥페이크 기술이 적용됐다. AI 그래픽 스타트업 펄스나인이 20년 아이돌 역사를 거쳐간 수백명의 얼굴 정보를 학습해 0.5초에 1개씩 미남미녀 얼굴을 창조해내는 생성모델을 만든 게 시작이다. 기술을 홍보하려 ‘프로듀스101’ 콘셉트의 온라인 인기투표를 열었는데, 투표에 2만 명이 몰리며 뜻밖의 인기를 끌자 내친 김에 걸그룹을 결성한 것.

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

메이브를 만든 버추얼 아바타 제작 과정. 바디스캐닝으로 만든 하이퍼리얼 3D 모델에 모션캡처 방식으로 움직임을 입힌다. [사진 메타버스엔터테인먼트]

재능기부를 모아 어설프게 만든 첫 뮤비 ‘아임리얼’에 3일 만에 1만개의 악플이 달렸지만, 팀원들이 밤을 새며 일일이 진정성있는 댓글을 달자 ‘이터널’이라는 자발적인 글로벌 팬덤까지 생겼다. 미완의 아이돌의 발전 과정을 지켜보는 양육형 팬덤처럼, 기술의 점진적 향상을 응원하는 팬덤이다.

이터니티 멤버 다인이 가상 얼굴로 바뀌는 과정.

이터니티 멤버 다인이 가상 얼굴로 바뀌는 과정.

이터니티의 강점은 실사형이라 정말 사람같고, 생방송이 가능하다는 점이다. 렌더링 없이 실시간으로 가상 얼굴로 스와핑하는 딥리얼 라이브 기술 덕이다. 실제로 멤버 제인은 매주 SBS 모닝와이드 생방송을 비롯해 웹드라마, 홈쇼핑 등으로 바쁘게 활동하고 있다. 펄스나인 박지은 대표는 “영화 ‘아이 토냐’(2017)에서 트리플 악셀을 뛰는 대역 스케이터에게 마고 로비의 얼굴을 3초간 합성하려고 3달간 10명이 CG 작업을 해야 했다면, 이터니티는 AI 딥러닝 기반으로 1명의 오퍼레이터가 라이브로 처리할 수 있게 됐다”고 소개했다.

AI의 인력 대체에 대한 우려도 있지만, 엔터산업에서는 오히려 고용창출을 하고 있다. 아이돌의 핵심 역량인 노래와 춤은 아직 사람의 몫이기 때문이다. 메이브 캐릭터 뒤에 전문 댄서의 춤과 보컬리스트의 가창이 소스가 되어 퍼포먼스를 담당한다. 버추얼 아이돌은 사람 한 명이 아니라 기술이 집결된 하나의 IP로 여러 명이 활동하는 플랫폼인 것이다.

얼굴만 바꾸는 2D 딥페이크 방식을 적용해 생방송도 가능한 11인조 버추얼 걸그룹 이터니티. [사진 펄스나인]

얼굴만 바꾸는 2D 딥페이크 방식을 적용해 생방송도 가능한 11인조 버추얼 걸그룹 이터니티. [사진 펄스나인]

이터니티도 멤버 한 명당 대역이 10명쯤 된다. 목소리와 춤, 노래가 모두 다른 사람이고, 먹방을 찍는 대역과 뉴스에 나오는 대역도 다른 사람이다. 아이돌 연습생부터 은퇴한 아이돌까지 다양한 사람이 버추얼 휴먼의 대역으로 활동하고 있다. 박지은 대표는 “10명의 재능을 합쳐 원팀으로 만들어가는 의미가 있다. 제인이 활동을 많이 할수록 일자리 창출이 된다. 버추얼 휴먼 하나로 10명이 돈을 버니 나중엔 협동조합도 될 것 같다”고 말했다.

11인조 ‘이터니티’는 생방송도 가능

『AI 2041』처럼 실제 셀럽을 대신할 수도 있다. 최근 디즈니플러스 ‘카지노’에 62세 최민식이 30대 차무식을 연기해 화제였는데, AI 기술을 활용한 페이스 디에이징과 AI 음성합성기술을 접목한 결과다. 20대 윤여정이 등장한 보험회사 광고도 비슷한 기술이다. 지난해 5월 런던에서 열린 아바 콘서트에서도 회춘한 아바가 등장했다. 전성기 시절의 외모로 돌아간 아바 멤버들은 LED 스크린 안에 있었지만, 마법같은 조명 연출로 마치 무대 위에 존재하는 듯한 실재감이 돋보였다.

가요계에서는 진작부터 군 입대를 앞둔 보이그룹이 버추얼 아바타 활동을 타진해 왔다. 강성구 CTO는 “몇 년 전부터 보이그룹의 니즈가 쇄도한 것이 우리가 버추얼 휴먼 사업을 시작한 이유 중 하나”라면서 “그때는 없었던 기술이 거의 완성 단계다. 몇 년 안에 BTS 정국의 목소리와 성격을 학습시킨 3D 캐릭터를 만들어 영화 출연을 할 수도 있고, 딥페이크로 쉽게 하는 방법도 있다. 이슈는 IP다. 버추얼 아바타가 활동을 하면 권리 배분 문제가 생기고, 아이돌이 원치 않는 활동을 하게 될 수도 있다. 해당 아이돌과 소속사, 버추얼 휴먼 제작사 사이에 권리 관계가 정리되어야 한다”고 말했다.

최초의 K팝 웹툰 'MAVE: 또 다른 세계' [사진 카카오엔터테인먼트]

최초의 K팝 웹툰 'MAVE: 또 다른 세계' [사진 카카오엔터테인먼트]

최근 공룡 기획사의 시장 독점 우려와 함께 K팝이 정점에 도달했다는 얘기도 나온다. ‘버추얼 아이돌’이라는 새로운 ‘문화기술’은 K팝 산업의 다양화와 지속가능성에 기여할 전망이다. 메이브는 이미 게임 캐릭터로 활약 중이고, 20일 최초의 ‘K팝 웹툰’을 표방하며 웹툰 ‘MAVE: 또 다른 세계’를 론칭한다. 챗GPT를 활용한 개인 채팅 서비스도 오픈을 앞두고 있다. 과거 ‘덕질’이 아이돌 추종이었다면, 이제 아이돌을 비서나 친구로 삼을 수 있게 되면서 팬덤의 양상도 달라질 수 있다.

중앙SUNDAY 유튜브 채널

중앙SUNDAY 유튜브 채널

심두보 성신여대 미디어커뮤니케이션학과 교수는 “웹툰·게임 등 K콘텐트가 대세인 만큼 K팝 팬덤의 니즈도 아이돌의 기존 활동을 넘어 트랜스미디어적 방식으로 확장 중이다. K팝 산업이 디지털 문명을 만나 다각화되고 안정적으로 수익을 극대화하려면 콘텐트 비즈니스에 투자해야 한다”면서 “과거에 팬덤의 상징이 10대들의 오빠 팬덤이었다면, 요즘엔 20대 이상의 양육형 팬덤이 많아졌다. 전화 통화도 꺼리는 MZ세대에게 비대면에다 스스로 통제할 수 있는 버추얼 아이돌은 팬덤 활동의 좋은 대상이 될 수 있을 것”이라고 내다봤다.

ADVERTISEMENT
ADVERTISEMENT