ADVERTISEMENT

이정재가 영어로 연기하는 ‘오겜’, 엘비스가 부르는 K팝

중앙선데이

입력

업데이트

지면보기

827호 02면

‘성수 AI 데이’ 콘퍼런스

16일 띵스플로우가 주최한 성수 AI 데이 콘퍼런스에 참석한 산업계와 학계 연사들이 AI 기술의 변화상에 대해 토론하고 있다. 최영재 기자

16일 띵스플로우가 주최한 성수 AI 데이 콘퍼런스에 참석한 산업계와 학계 연사들이 AI 기술의 변화상에 대해 토론하고 있다. 최영재 기자

#1. ‘이정재가 영어를 저렇게 잘했어?’ 화면을 본 주변이 술렁거렸다. 아무리 봐도 이상하다. 세계적 인기를 모은 K드라마 ‘오징어 게임’(2021)에 나온 이정재(기훈 역)의 목소리가 분명 맞는데, 영어 발음은 원어민 수준이다. 사실 이 화면은 인공지능(AI) 신기술로 만들어졌다. AI 기술이 이정재 목소리를 영어로 연기한 외국인 성우의 목소리로 감쪽같이 변조한 것이다. 한국 드라마나 영화를 보는 외국인들은 재미있는 장면과 이야기엔 푹 빠져들지만, 외국인 성우가 영어나 프랑스어 등 자기네 언어로 더빙할 경우 작품 속 배우들의 목소리는 못 듣게 돼 연기에 대한 몰입감은 떨어질 수 있다. 이때 AI가 배우 목소리로 영어나 프랑스어 등을 하도록 성우 연기를 변조하면 해당 언어권 시청자들의 몰입감을 극대화할 수 있는 것이다.

#2. 엘비스 프레슬리가 환생해 생전의 감미로운 목소리로 K팝 발라드를 부르면 어떤 느낌일까. 혹은 비틀즈가 다시 뭉쳐 다시 중흥기를 맞고 있는 한국 트로트 곡을 연주하게 할 수는 없을까. 이 역시 AI의 힘을 빌면 불가능한 일이 아니다. AI 기술 관련 스타트업인 수퍼톤의 최형석 리서치리드는 성시경의 노래를 프레슬리 목소리로 바꾼 샘플을 소개했다. 엘비스의 오리지널이라 해도 믿을 만큼 감쪽같았다. 수퍼톤은 방탄소년단(BTS) 소속사인 하이브가 지난달 인수한 업체다. 이 업체가 자체 개발한 AI 음성 합성 기술인 ‘NANSY(Neural Analysis and Synthesis)’는 사람의 목소리를 음색과 발음, 운율, 세기 등으로 분해하고 개별 제어 및 재합성할 수 있도록 해 주는 기술이다. 기존 기술에 비해 AI의 학습 속도가 빠르고, 발음의 부정확성을 줄인 것이 특징이다. 노래 변조도 가능하다.

소비자가 아티스트 음악 재창작도 가능

16일 서울 성수동에서 열린 ‘성수 AI 데이’ 콘퍼런스에서 선보인 AI 기술들 중 일부다. 게임 개발 업체 크래프톤의 자회사 띵스플로우가 주최하고 한국마이크로소프트(MS)가 후원한 이날 행사엔 산업계와 학계의 AI 전문가들이 연사로 등장해 신기술 동향과 시사점을 제시했다. 마켓츠앤드마켓츠에 따르면 세계 AI 시장 규모는 올해 869억 달러(약 112조원)에서 2027년 4070억 달러(약 526조원)로 5년 사이 5배가량 성장할 전망이다. 2020년 2조2000억원 규모였던 국내 AI 시장도 2030년 27조5000억원 규모로 13배 커질 전망이다(KT경제경영연구소).

이런 가운데 삼성전자·네이버 등 국내 기업들도 AI 사업에 박차를 가하고 있다. 다만 자금력이 부족하거나 상용화했을 때 성공 확률이 낮은 아이디어만 갖고 AI 사업에 뛰어든 스타트업은 혹독한 실패를 맛보기도 한다. 관건은 시장에 어필할 수 있는 신기술을 선보여서 충분히 투자를 받고, 회사의 지속 가능한 성장을 도모하는 것이다. 이에 대해 벤처캐피탈(VC)인 SV인베스트먼트의 홍원호 대표는 “불경기로 최근 들어 투자가 많이 줄어든 게 사실이지만, AI 분야만큼은 (투자 가치가 충분하다고 보고) 글로벌 확장성에 초점을 맞춰 주시하고 있다”고 VC 업계 분위기를 전했다.

그래픽=이정권 기자 gaga@joongang.co.kr

그래픽=이정권 기자 gaga@joongang.co.kr

어떤 AI 기술들이 세간을 사로잡고 있을까. 고광범 MS 부문장은 MS의 클라우드 서비스인 ‘애저(Azure)’에서 사용할 수 있는 이미지 생성 편집 AI ‘달리(Dall-E)’를 소개했다. 달리는 사용자가 입력한 텍스트를 이미지로 자동 변환해준다. 예를 들어 달에 착륙한 강아지를 그린 걸 보고 싶다면 이를 텍스트로 입력, 그대로 이미지가 나타나는 식이다. 고 부문장은 “챗GPT와 달리를 써서 일반 소비자가 단 이틀 만에 동화책 한 권을 완성한 사례도 있다”고 말했다. MS는 챗GPT보다 빠르고 정확한 AI 모델인 ‘프로메테우스’를 활용해 검색 엔진 ‘빙(Bing)’을 고도화하는 데도 나섰다.

토스모바일은 최근 가세한 알뜰폰 분야에서 AI 기술을 적용했다. 하대웅 비바리퍼블리카 최고제품책임자(CPO)는 “기존 알뜰폰 서비스에 가입하려면 거의 20단계에 달하는 절차를 거쳐야 해서 고통스러웠다”며 “알뜰폰에 자동 음성인식(ASR, Automatic Speech Recognition) 기술 등을 적용했더니 가입 절차가 2단계로 크게 줄었다”고 소개했다. 이 기술은 AI가 사람 대신 자동 응답 시스템(ARS, Automatic Response System)을 듣고, 데이터에 따라 소비자 맞춤형 정보를 텍스트로 바로 제공해준다. 기존 ARS에선 소비자가 안내원의 긴 설명을 다 듣고 있어야 해서 기억하기조차 쉽지 않았던 불편함을 해소한 것이다.

“AI도 다양한 문화권 역사적 배경 알아야”

뉴튠은 ‘믹스오디오’라는 AI 기반의 인터랙티브 음악 서비스를 운영하고 있다. 아티스트의 음악을 소비자가 재창작하고 그 저작권을 인정받는 미래형 음악 경험인 ‘플레이투크리에이트(Play2Create)’ 등에 부응하는 서비스다. 이종필 뉴튠 대표는 “AI의 도움으로 내가 좋아하는 아티스트 두 명의 음악을 섞은 작품을 만드는 등의 재창작이 가능하다”고 말했다. 메타버스엔터테인먼트는 지난달 공개한 가상인간 걸그룹 ‘메이브’의 뮤직비디오가 유튜브에서 3주 만에 누적 1400만 조회 수를 기록했다. 이 회사 강성구 최고기술경영자(CTO)는 “가상인간을 잘 만들려면 AI 학습 데이터의 품질이 중요하다”고 전했다.

AI 관련 신기술 개발엔 산업계뿐 아니라 학계도 발 벗고 나섰다. 박진영 성균관대 교수 연구팀은 AI가 텍스트에서 사람의 감정을 추론하는 방식에서 한 걸음 더 나아가 ‘왜 그런 감정을 갖게 됐는지’ 알아내도록 하는 연구를 하고 있다. 홍성은 인하대 교수는 AI가 사람 얼굴을 인식할 때 정면뿐 아니라 측면 등 환경적 차이가 있는 상황을 제대로 다루도록 하는 등의 ‘도메인 어댑테이션(DA)’을 연구 중이다. 홍 교수는 “DA를 이용하면 AI가 병원마다 다른 의료 장비로 학습한 이후 다른 병원에서 얻은 영상을 샘플만으로 분석하는 등의 일이 가능해진다”고 말했다.

다만 AI의 미래가 밝기만 한 것은 아니다. 과제도 많다. 김주연 유니스트 교수는 “챗GPT로도 실험해봤지만 여전히 AI는 학습이 된 것만 알고, 학습이 안 된 것은 모른다. 논리란 게 없고 갈 길이 남은 것”이라며 “AI가 사람처럼 경험에 의한 판단을 할 수 있는 수준까지 도달하도록 꾸준히 움직여서 학습시켜야 한다”고 지적했다. 하정우 네이버 AI랩 소장은 “AI 학습용 데이터엔 지식재산권(IP) 침해 리스크가 늘 따른다”며 국내외에서 관련 법·제도 정비가 시급하다는 전문가들의 우려에 동의했다. AI가 잘못된 데이터 학습으로 혐오·갈등 조장 표현이나 선정적 이미지 생성에 나설 위험성도 개선점으로 지목된다.

오혜연 카이스트 교수는 “사람처럼 AI도 다양한 문화권의 이야기를 듣고, 역사적 배경 등을 알아야 한다”며 “그래야 편향성 논란에서 자유로워질 수 있다”고 강조했다. 오 교수는 AI를 상대로 ‘어느 나라 사람이 적(敵)이냐’고 물었을 때 한국에선 일본인이라고 답한 경우가 많았던 연구 사례를 소개했다. 고광범 부문장은 “AI 서비스를 강화할수록 (기업들에) 강한 사회적 책임이 따른다는 점을 실감한다”며 “예기치 않은 비정상 동작 방지, 부정적 영향 차단 등에 기업들이 많은 신경을 써야 한다”고 덧붙였다.

헬로우봇, 개인화·개성 표출 서비스 차별화로 매출 급성장

김준희 띵스플로우 본부장. 최영재 기자

김준희 띵스플로우 본부장. 최영재 기자

챗GPT가 급부상하면서 대화형 AI인 챗봇(chatbot) 전반에 대한 관심도가 높아지고 있다. 챗봇 서비스엔 이용자와 ‘놀아주는’ 것만 있는 게 아니다. 금융사나 대학병원 등의 ‘보이는 ARS’도 대표적인 챗봇 중 하나다. 이처럼 소비자 일상 깊숙이 스며든 챗봇이지만, 기업 입장에서 이것만 갖고 매출을 올리기는 쉽지 않다. 16일 만난 김준희 띵스플로우 AI콘텐트랩 본부장은 “띵스플로우가 5년여 전부터 서비스를 해온 챗봇은 성공적인 비즈니스모델(BM)로 입증됐다”고 자신감을 표했다.

챗GPT가 연일 화제인데.
“시장에 나온 지 두 달밖에 안 된 최신 기술임에도 각계에 영향을 미치고 있다. 그중에서도 콘텐트 산업에서 파급력이 엄청나다. 2017년부터 캐릭터 지식재산권(IP) 기반 챗봇인 ‘헬로우봇’을 서비스 중인 띵스플로우도 이런 동향에 주목하고 있다. 막이 오른 챗GPT 시대를 성공적으로 맞을 자신이 있다. 생성형 AI를 실제 BM으로 키운 회사는 국내에서 우리가 유일하고, 세계에도 몇 곳 없다.”
근거는.
“헬로우봇 하나에서만 매출이 2021년 45억원, 지난해 100억원 났고 올해는 250억원일 것으로 기대한다. 매출이 매년 2배 이상씩 성장 중인 유일한 챗봇이다. 해외 유명 챗봇인 미국의 ‘레플리카’도 헬로우봇보다 매출이 적다.”
다른 챗봇과 어떻게 차별화했나.
“헬로우봇에서 유저는 현실의 나와 다른 자아인 ‘페르소나’를 다양하고 개성 있게 만들 수 있다. 개인화한 챗봇이라고 할 수 있다. 나를 감추는 공간인 온라인에서도 강렬한 개성 표출을 원하는 MZ세대에게 인기를 모으는 이유다. 또 헬로우봇엔 아기자기한 부가 서비스가 있다. 타로(Tarot) 카드로 연애 상담을 해주는 ‘라마마’가 대표적이다.”
헬로우봇 외에 어떤 AI 관련 플랫폼을 갖고 있나.
“유저가 AI를 기반으로 이야기를 쉽게 만들 수 있도록 돕는 ‘스플(스토리플레이)’을 서비스하고 있다. 웹툰과 웹소설 등을 만드는 데 활용하는 아이디어 정리부터 기획, 시놉시스 작성 등에 이르기까지 AI가 단계별로 도와준다. 데이터 분석 개념도 들어간다. 어떻게 기획하면 20대 여성 독자가 얼마만큼 증가하는 효과를 얻는다는 등의 정확한 분석이 가능하다.
향후 계획은.
“올해 목표 중 하나가 글로벌 서비스(수출)다. 챗GPT는 모든 언어를 섭렵한다지만 영어로 이용할 때 강점이 있는 서비스다. 띵스플로우도 영어를 쓰는 환경에서 강점을 갖도록 플랫폼을 개발 중이다. 국내에선 헬로우봇과 스플 외에 커플 전용 애플리케이션 ‘비트윈’까지 세 핵심 서비스에 고성능 AI를 내재화해서 효율을 극대화하고 이용자 만족도를 높일 계획이다.
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT