최준호 과학&미래 전문기자·논설위원
2020년 여름, 22살의 나이로 세상에 태어났다. 이 ‘젊음’은 세월이 흘러도 나이를 먹지 않는다. 오는 8월 세 번째 22살 생일을 맞는다. 스카이다이빙을 하는 인플루언서로 세상에 처음 존재를 알렸다. 이후 생명보험사, 화장품 회사 등의 CF 속 모델로 변신하더니, 지난 2월에는 싱글앨범을 내고 가수로 변신했다. 시각특수효과(VFX) 기업 로커스의 자회사 싸이더스 스튜디오X가 만든 가상인간(virtual human) ‘로지’다.
20대 대통령 선거를 4개월 앞둔 지난해 12월 초에는 야당인 국민의힘 소속 윤석열 후보를 본뜬 가상인간 ‘윤석열 AI’가 등장했다. 소셜네트워크서비스(SNS) 이용자들이 묻는 말에 대답하고, 유튜브 동영상에 나와 연설까지 한다. 윤석열 AI를 허위·조작이라고 비난하던 더불어민주당도 지난 2월 이재명 대선후보의 가상인간 ‘AI 이재명’을 내놨다. 대선 경쟁이 인공지능 세상까지 번진 꼴이다. 이쯤 되면 본격적인 ‘가상 인간’의 시대다.
세 종족으로 진화한 가상인간
CG로 만든 가수·모델 ‘버추얼 휴먼’
윤석열AI처럼 대신 말하는 ‘AI휴먼’
묻는 말에 상담도 가능한 ‘메타휴먼’
“CG+AI 진화, SF영화 현실화 될 것”
로지
가상인간은 어떤 기술로 어떻게 만들어질까. 전공 분야가 전혀 다를 것 같은 시각특수효과 기업과 인공지능(AI)을 개발하는 정보기술(IT) 기업이 어떻게, 왜 ‘가상인간 창조’를 경쟁할까. 시각특수효과 기업은 ‘스타워즈’나 ‘마이너리티 리포트’와 같은 공상과학(SF) 영화 제작에 참여한다. 인공지능 기업은 4차 산업혁명을 대표하고, 첨단산업에 필요한 인공지능을 개발하는 기업이다. 시각특수효과가 ‘아트(art)’의 영역이라면, 인공지능은 21세기 과학기술의 ‘총아(寵兒)’다.
김래아
지난 7일 로지의 고향부터 찾았다. 서울 강남 도산대로변에 자리한 싸이더스 스튜디오X다. 제작을 총괄하는 정병건 이사의 방에 들어서니 대형 디스플레이에 로지의 얼굴이 가득 들어왔다. 눈·코·귀를 포함 얼굴 전체에 그물 같은 선이 그려져 있다. 리깅(rigging), 3D 컴퓨터 애니메이션에서 캐릭터의 뼈대를 만들어 심거나 할당해 캐릭터가 움직일 수 있는 상태로 만드는 일이다.
솔트룩스가 개발 중인 메타휴먼
컴퓨터 그래픽으로 얼굴을 그린 뒤, 피부 위에 리깅 작업을 한다. 가상인간 캐릭터를 만드는 첫째 작업이다. 다음은 필요한 시나리오에 기반한 영상촬영이다. 현장에서 실제 사람이 대역 모델로 촬영을 한다. 두 작업이 끝나면 캐릭터와 대역 모델로 촬영한 영상을 컴퓨터를 이용해 매칭한다. 대역 모델 위에 캐릭터를 얹는 작업이다.
윤석열 AI
마지막으로 실제와 달리 어색한 부분에 빛을 주는 등의 작업을 하면 한편의 가상인간 영상이 세상에 나온다. 로지가 버스 정류장에서 춤을 추고, 무대에 나와 노래를 부르는 것 모두 시나리오에 기반한 일종의 컴퓨터 영상 작업의 결과다. 컴퓨터 그래픽 작업이 과거에도 있었지만, 지금은 발달한 인공지능 기술을 이용한다는 점이 큰 차이다.
제페토
정 이사는 “지금은 촬영된 영상에 기반을 둔 가상인간이지만, 머잖아 실시간 방송도 가능한 가상인간이 나올 것”이라며 “스튜디오나 무대에 대역 모델이 특수장비를 착용한 상태에서 움직이면 방송 영상에는 실시간으로 가상인간이 나와서 행동하고 말하는 모습을 보게 될 것”이라고 말했다.
싸이더스 스튜디오X 취재를 마치고 나와 남동쪽으로 3㎞가량 떨어진 언주로에 있는 솔트룩스를 찾았다. 솔트룩스는 1979년 기술번역과 전자출판 전문기업으로 시작했다. 1999년 IT벤처붐 때 검색엔진 기업으로 변신했고, 이후 빅데이터 분석을 거쳐 인공지능 전문기업으로 성장했다. 2020년엔 이동통신사 유플러스와 함께 실제 5세 아이를 바탕으로 만든 두 가지 성격의 디지털 휴먼 ‘가람이’를 내놨고, 대선을 앞둔 올 2월엔 ‘AI 이재명’을 만들었다.
가상인간
지하 1층 개발실에서 김성현 디지털 휴먼 팀장을 만났다. 그는 “최근 등장하는 가상인간엔 세 가지 종족이 있다”고 말했다. 로지처럼 3D와 실사 합성에 기반한 ‘버추얼 휴먼’과 AI휴먼·메타휴먼이다. AI휴먼이 윤석열·이재명 AI처럼 입력 텍스트를 음성과 영상으로 변환 및 생성하는 TTS(Text to Speech) 기술 등을 활용해 실제 사람 대신 말을 하는 것이라면, 메타휴먼은 묻는 말에도 대답도 할 수 있어 실제 사람 대신 상담사나 리셉션데스크 역할까지 소화한다. 김 팀장은 “메타휴먼도 현재로선 특정 업무에 특화돼 온라인상에서 사람과 말을 주고받는 정도이지만, 머잖은 미래에 메타버스 세상 속에서 인간의 얼굴과 표정을 가지면서 일반적인 대화도 자연스럽게 주고받는 진정한 메타휴먼이 등장할 것”이라고 말했다.
노준용 KAIST 문화기술대학원 교수는 “1990년대 말 국내 최초로 소위 ‘사이버 가수’라는 아담이 등장하는 등 과거 유사한 시도가 있었지만, 인공지능과 컴퓨팅 파워, 다양한 플랫폼의 등장 등 최근 급속하게 진화하고 있는 기술과 사회변화 덕분에 사람의 모습을 한 가상인간들이 속속 등장하고 있다”며 “컴퓨터 그래픽과 인공지능이라는 과거 영역이 뚜렷이 구분됐던 두 기술이 각기 다른 방향에서 출발해 진화하다 최근 들어 서로 협업하면서 접점을 맞춰나가고 있는 것”이라고 말했다. 노 교수는 “거리의 광고 디스플레이 속 가상인간이 지나가는 행인을 알아보고 말을 거는 SF영화·마이너리티 리포트가 현실화할 날이 멀지 않았다”고 덧붙였다.
