김광석까지 환생시킨 AI … 음악계 점령할까

중앙선데이

입력

업데이트

음악계 습격하는 AI

지난 11일 세계 최대 IT·가전 전시회 CES 2021의 LG전자 신상품 소개에 나선 연설자는 AI 인간 ‘김래아’였다. CG로 만든 외형에 인공지능 기술을 입혀 목소리를 구현한 23세 여성 캐릭터 인데, 지난해 음원을 발표한 뮤지션이자 팔로워 1만명을 거느린 ‘버추얼 인플루언서’다.

생전 가수 딥러닝, 홀로그램 소환 #신해철 AI로 되살린 무대 화제 #걸그룹도 AI 아바타와 함께 활동 #AI 작곡가, 알고리즘 활용해 다작 #창작 도우미로 파괴적 혁신 기대 #“독특한 아우라 창조하는 게 숙제”

최근 AI 챗봇 ‘이루다’가 성차별 발언으로 론칭 20일 만에 서비스가 중단되는 해프닝이 있었지만, 2015년 일본 마이크로소프트가 ‘미스터리 여고생’ 캐릭터로 개발한 챗봇 ‘AI 린나’는 현재 가수로 성장했다. 팔로워 700만을 거느린 인플루언서로 활동하다 음성 합성, 가창 합성 기술을 차례로 더해 아이돌 창법으로 노래하는 ‘버추얼 싱어’로 진화한 것이다. 2019년엔 연예기획사 에이벡스와 계약을 맺고, 메이저 방송에서 최초로 ‘인간 vs AI’ 가창 대결을 벌이기도 했다.

SBS ‘세기의 대결! AI vs 인간’에서 부활하는 고 김광석.

지난 해 Mnet ‘AI음악프로젝트’에 등장한 고 김현식.

4차 산업혁명 시대, 음악계에도 진풍경이 펼쳐지고 있다. 죽은 가수들도 살아났다. 2019년 NHK홍백가합전에서 30년 전 사망한 일본의 국민가수 미소라 히바리가 야마하의 ‘보컬로이드 AI’로 살아나 신곡 ‘아레까라(그로부터)’를 불렀다. 지난 연말 Mnet의 AI 음악프로젝트 ‘다시 한번’은 혼성그룹 거북이의 터틀맨(임성훈), 가객 김현식의 생전 자료를 딥러닝한 AI 홀로그램을 무대로 불러내 팬들을 울렸다. 빅히트 엔터테인먼트도 연말 콘서트에서 신해철을 소환해 BTS 등 소속 가수들과 협업 무대를 펼쳤다. 29일 방송하는 SBS 신년특집 ‘세기의 대결! AI vs 인간’에서도 1996년 세상을 떠난 김광석이 2002년 발표된 김범수의 ‘보고 싶다’를 부른다.

지난 연말 BTS등과 합동무대를 가진 고 신해철. [사진 빅히트엔터테인먼트]

‘AI 음악의 감동’은 딥러닝을 활용한 음성·가창 합성 기술의 급격한 발전으로 가능했다. 가창을 합성하는 신경망과 합성된 음성이 진짜인지 가짜인지 판별하는 신경망이 상호 경쟁하면서 결과물을 개선시켜 가는 ‘생성적 적대 신경망(GAN)’ 기술로 실제 가수의 호흡과 바이브레이션까지 고스란히 담아낸 생생한 목소리가 얻어지는 것이다. 녹음된 음원이 아니라, 이 목소리가 학습을 토대로 전혀 새로운 콘텐트를 구현하기에 실제 부르지 않은 곡도 들을 수 있다.

AI아바타와 활동하는 걸그룹 에스파. [중앙포토]

유명인을 내 일상으로 불러올 수도 있다. 최근 클래식 기획사 크레디아가 내놓은 AI 스피커 서비스 ‘클래식 메이트’는 바이올리니스트 대니 구의 목소리를 빌려 매일 한 곡씩 클래식 음악을 소개하고 있다. SM의 신인 아이돌그룹 에스파는 멤버별로 만든 AI 아바타와 함께 팀을 꾸렸고, 네이버의 증강현실 앱 ‘제페토’에서는 블랙핑크, 트와이스의 AI 아바타와 만날 수 있다. 엔씨소프트가 상반기 글로벌 시장에 출시 예정인 K팝 팬 플랫폼 ‘유니버스’에서는 아이돌의 AI 보이스와 직접 대화를 나눌 수도 있는데, 이미 사전 예약이 200만 건을 돌파했다.

하지만 이런 기술은 목소리 정보만으로 자연스러운 대화를 만들어 내기에 진짜와 가짜의 구분이 모호해지고, 실존 인물의 의지와 무관하게 사용될 가능성도 있다. ‘클래식 메이트’에 음성을 제공한 대니 구는 “처음엔 누가 내 목소리로 욕을 할 수도 있겠다는 걱정이 들었다”면서도 “장기적으로 봤을 때 클래식계가 다양한 시도를 해볼 수 있는 기회를 주는 기술이다. 클래식 매니어보다 훨씬 많은 구글 이용자들에게 클래식을 편안하게 전달할 수 있다는 희망에서 흔쾌히 동참했다”고 밝혔다.

바이브레이션까지 생생 ‘진짜같은 가짜’

‘다시 한번’과 ‘AI vs 인간’에 기술을 제공한 스타트업 수퍼톤을 설립한 이교구 서울대 지능정보융합학과 교수는 “확대되는 버추얼 시장에서 음성 합성 기술로 다양한 사업 모델이 탄생할 수 있다. 예컨대 12개국에서 방영되는 ‘킹덤’ 같은 K드라마도 원래 배우의 목소리를 각 나라 언어로 더빙하는 것이 가능하다”면서 “진짜 같은 가짜를 만들어내는 일이기에 수많은 개인에게 통제를 맡기면 위험할 수 있다. 음원 발매나 영화 제작처럼 완벽히 컨트롤 가능한 사업만 고려하고 있다”고 말했다.

AI는 작곡 분야에서도 화제다. 2016년 탄생한 국내 최초의 AI 작곡가 ‘이봄’은 지난해 5월 남성 듀오 조이어클락의 디지털 싱글 앨범 ‘달 스프’를 선보였고, 10월에는 프로듀서 누보와 협업한 곡 ‘아이즈 온 유’로 소녀시대 태연의 동생 하연을 데뷔시켰다. 해외에서는 ‘아메리칸 아이돌’로 스타덤에 오른 뮤지션 타린 서던이 2018년 AI 작곡가 ‘앰퍼’가 작곡한 앨범 ‘아이 엠 에이 아이(I AM AI)’로 정식 데뷔하기도 했다.

그래픽=이정권 기자 gaga@joongang.co.kr

AI 작곡가의 활약은 음악 산업에서 생산 자체의 본질적 변화를 야기한다는 점에서 주목된다. 서양 음악에는 12음정과 24조성이 있고, 리듬·멜로디·하모니를 조합해 다양한 패턴이 생산된다. 베토벤의 ‘영웅’이나 ‘월광’에 피보나치수열과 등비수열이 쓰인 것처럼, 작곡가들은 수학적 패턴을 고심하며 오선지에 음표를 채워간다. 반면 AI 작곡가는 심층 신경망으로 방대한 데이터베이스에 숨겨진 수학적 규칙을 빠르게 찾아내는 알고리즘을 활용해 음악을 신속하게 대량생산할 수 있다.

미국 산타크루즈 캘리포니아 대학의 데이비드 코프 교수가 개발한 AI 작곡가 ‘에밀리 하웰’은 2016년 경기도문화의전당에서 모차르트를 흉내 낸 곡으로 모차르트의 곡과 배틀을 펼치기도 했다.

AI가 작곡한 최초의 팝송은 비틀스풍으로, 2016년 소니의 ‘플로우머신’이 비틀스의 노래 45곡을 학습해 작곡한 ‘대디스 카(Daddy’s Car)’다. 이 곡들은 모차르트와 비틀스 스타일을 충실히 모방해 완결된 구조를 가졌다는 평가를 받았다.

‘AWS re:Invent 2019’ 행사에서 처음 공개 된 AWS 딥컴포저. [사진 AWS]

요즘엔 누구나 AI 작곡가의 곡을 받을 수 있다. 아마존 웹서비스(AWS)가 지난해 출시한 ‘딥컴포저’는 PC에 연결하는 키보드로 멜로디를 한 소절 입력하고 장르를 정하면 몇 초 만에 복잡한 편성의 곡을 완성해 준다. 미국 비영리 인공지능 연구기관인 오픈 AI가 지난해 선보인 ‘주크박스’는 미디 파일이 아닌 오디오 사운드 자체로 120만 곡의 데이터를 학습한 인공 신경망이 엘비스 프레슬리 목소리로 듣는 로큰롤, 소녀시대가 부르는 듯한 K팝까지 만들어낸다.

AI가 만든 음악은 1인 미디어 시대를 맞아 배경음악(BGM)으로 급부상했다. 현행법상 AI 생성물은 저작권 보호를 받지 않기 때문이다. 실제로 중국의 숏폼 동영상 플랫폼 ‘틱톡’은 이용자들의 BGM 수요를 충족하기 위해 영국의 AI 작곡 스타트업 쥬크덱을 인수했다. 영국의 ‘에이바’, 일본의 ‘사운드로’ 등 일반인 유료 이용자를 대상으로 하는 구독 서비스도 저작권 걱정 없는 음원을 만들어 준다.

“AI 덕에 음악 생태계 소비 풍성해질 것”

주목할 점은 AI가 엄청난 속도로 다작을 한다는 점이다. 이용자가 버튼 몇 개만 누르면 30초 안에 3분짜리 곡이 만들어지니 이론상 하나의 단말이 하루에 수천 곡을 쏟아낼 수 있다. ‘이봄’도 지난 1년간 클래식·EDM·뉴에이지·엠비언트·힙합·트로트에 걸친 130여 개의 앨범을 유튜브에 공개해 누적 조회 수 100만 회를 넘겼다.

음악에 대한 지식이 없는 사람도 가볍게 나만의 음악을 만들어 활용할 수 있게 됐으니 예술 창작의 민주화가 이뤄진 걸까. 하지만 AI의 대량 생산 능력이 가격 파괴로 이어져 전문 음악인의 설자리를 위협할 수도 있다. 이츠키 유우의 소설 『기계 고래는 노래한다』는 AI 작곡이 보편화된 세계를 배경으로 작곡가도 연주자도 AI를 위한 도구로 전락해버린 디스토피아적 풍경을 그리고 있다.

하지만 글쓰기 플랫폼에 누구나 글을 발표할 수 있듯, 이미 작곡도 누구나 할 수 있는 일이 됐다. 정경영 한양대 작곡과 교수는 “AI 작곡은 피할 수 없는 방향이다. 하지만 선별하는 귀가 생길 것이고, 잘 쓰는 사람에 대한 리스펙트가 더 커질 것”이라며 “진짜 작곡가는 자기가 한 번도 들어보지 않은 음악을 하는 사람이다. 대중음악도 원본성과 누구의 브랜드냐가 중요한데, AI가 자기만의 독특한 아우라를 창조할 수 있느냐는 영원한 숙제로 남을 것”이라고 전망했다.

AI인간 김래아. [사진 LG전자]

인간 음악가와 AI의 공존은 협업을 통한 새로운 장르 개척에서 이룰 수 있다는 시각도 있다. AI의 역할이 음악가의 영역을 흡수하는 것이 아니라 창작의 도우미가 될 수 있다는 것이다. 이교구 교수는 “음악가들로부터 AI 기술이 소리를 만드는 도구로서 파괴적인 혁신을 이룰 수 있겠다는 의견도 들었다”면서 “다프트펑크가 어쿠스틱 악기가 내지 못하는 소리를 전자음으로 비틀어내며 EDM 열풍을 불러왔듯, 이제껏 존재하지 않았던 목소리를 만들어 새로운 음악적 지평이 열릴 수 있을 것”이라고 기대했다.

‘이봄’을 만든 스타트업 크리에이티브마인드의 대표 안창욱 GIST교수도 “현재는 작곡가들도 일부 유명인을 제외하고서는 먹고 살기 힘든 구조다. 실제로 음악가들과 작업해 보니 나오는 곡의 수가 적어 음악 생태계가 정체되는 면이 있다”면서 “AI작곡이 보편화되면 음악 시장의 파이가 어마어마하게 커진다. AI가 제공하는 콘텐트에 작곡가가 영감을 더하기도 쉽고, 편곡자·가수·세션·제작사·유통사까지 일이 많아질 것”이라고 확신했다. AI로 인해 다양한 콘텐트가 생산되고 소비되는 음악 생태계 자체가 풍성해질 것이라는 얘기다.

Q 나는 개인 유튜버다. AI 작곡가 구독 서비스를 이용해 BGM을 만들었다. 어느 날 다른 채널에서 내가 만든 음악을 들었다. 내 권리를 찾을 수 있을까?

A 이 질문에 대한 대답은 ‘찾기 어렵다’다. 현행 저작권법은 ‘인간’의 사상 또는 감정을 표현한 것을 저작물로 보고 있기 때문이다. AI 작곡가를 통한 음원은 저작권 보호의 사각지대에 놓여 있다. AI 작곡이 상용화될 때 문제가 발생할 수 있는 이유다. AI가 창작물을 만들기까지는 개발자와 이용자, AI 학습 데이터의 저작권자까지 많은 사람의 수고가 개입되기 때문이다.

① AI 작곡가에게 저작권을 인정하면 대량 생산으로 독점 문제가 발생한다?
“그런 문제도 있을 수 있지만, AI에게 저작권을 인정하지 않는다면 기술을 개발할 유인이 없어지게 된다. 세계 각국과의 AI 기술 패권 경쟁이 치열한 상황에서 우리나라의 기술 개발 및 산업 진흥을 도모해야 한다는 목적이 반드시 고려되어야 한다. 다만 보호 범위를 적정 수준에서 정할 필요가 있다. AI 창작물을 저작권으로 보호하되 부작용 방지를 위해 귀속 주체에 관한 명확한 기준을 제시하고, 보호 기간을 적절한 수준으로 설정하며, AI 저작권을 침해하는 경우 사람의 경우보다 상대적으로 처벌을 완화하는 방안 등을 고려해 볼 수 있다.”

② AI의 학습 데이터로 사용되는 기존 저작물은 보호하지 않나?
“AI 기술은 인간의 지적 기능을 대행하거나 보완하는 것이 목표다. 데이터가 제한적일 경우 편향성으로 인해 신뢰하기 어려운 결과가 초래될 수 있다. 이와 관련해 각국이 유사한 관점에서 저작권법 개정을 추진하고 있다. 영국의 경우 비상업적 연구 목적의 데이터 분석을 위한 복제를 허용하고, EU도 과학적 연구 목적의 데이터마이닝을 허용한다. 우리도 15년 만에 추진하는 저작권법 개정의 주요 내용 중 하나로 ‘딥러닝 및 빅데이터 분석 등을 위해 저작물의 이용이 필요하다고 인정되는 범위 내에서 이용 허락을 받지 않아도 되도록 허용’하는 조항의 신설을 검토하고 있다.”

③ AI 창작물이 기존 저작물의 권리를 침해한다면 누구 책임인가?
“AI의 자동화 정도와 밀접한 문제다. 자동화 정도가 매우 높은 수준이어서 인간의 관여 없이 AI가 기존 저작물을 활용해 작곡한 경우라면 AI 개발자나 사용자에게는 책임을 묻기 어렵고 AI에게 책임을 지워야 할 텐데, 인간이 아닌 AI에게 법적 책임을 묻기 위해서는 관련 법 체계의 조정 및 정비가 선결 과제다. 반면 자동화 정도가 낮아 AI에게 기존 저작물을 사용하라고 명령한 사람이 유사한 수준의 결과물을 예상할 수 있었다면, 그 명령자에게 저작권 침해의 책임을 물을 여지가 있다.”

유주현 기자/중앙컬처&라이프스타일랩 yjjoo@joongang.co.kr