공연 무대 올라간 AI·증강현실…인간-디지털 교감 이룰까

중앙선데이

입력

업데이트

첨단 기술을 만난 예술

AR 라이브 중계, 프로젝션 매핑 기술 등이 사용된 무용 ‘루시드 드림 II’. [사진 한국문화예술위원회]

로봇이 연기를 할 수 있을까. 감정이 없기에 불가능하다고 하지만, 인공지능(AI) 기술의 발전으로 가능해질지도 모른다. 최근 국립극단 무대에 올랐던 정진새 작가의 연극 ‘액트리스원’ ‘액트리스투’도 그런 가능성을 전제로 했다. 인간보다 연기를 잘하게 된 AI 로봇이 디지털 세상에서 망해가는 연극판을 지탱한다. 하지만 인간의 질투와 방해로 로봇 배우는 물론 연극도 사라지게 되고, 인류를 비추는 거울인 연극이 사라지자 인류도 멸망할 지경에 이른다.

아바타 배우와 실제 배우 만나고 #스릴러 연극선 레이저 가상 밀실 #관객 반응 실시간 반영해 공연도 #사람 냄새나는 감성 유지가 열쇠 #벽 허물고 진화한 새 예술 가능성

AI 기술을 적용한 ‘메타휴먼’이 등장하는 연극도 나온다. 6월 고양아람누리에서 공연되는 연극 ‘A, 아이’는 연극이 사라진 시대에 연극의 흔적을 좇는다는 내용이다. 고양문화재단이 국내 최초로 기획한 ‘디지털 씨어터’ 공모사업 선정작 중 하나로, 영화 ‘승리호’의 CG에 사용된 에픽게임즈의 게임 엔진 ‘언리얼엔진’의 첨단기술을 동원해 제작 중이다. 프로젝션 매핑 기술로 조성된 가상의 공간에서, 모션캡처로 3D 아바타를 만드는 메타휴먼 기술로 구현된 디지털 휴먼과 실제 배우가 만나는 컨셉트다.

무대 위에도 3D 아바타 등장

4차 산업혁명 시대, 디지털 기술이 아날로그의 대명사인 공연계까지 침투하고 있다. 지난 1월 공연된 프로젝트 밈의 SF스릴러 연극 ‘너를 만난다’는 고주파 레이저 파사드와 프로젝션 매핑 기술로 레이저 감옥 같은 실감 나는 ‘가상의 밀실’을 만들어내 주목받았다. 인간인 척하는 ‘안드로이드’와 감별사 ‘세퍼레이터’의 심리 게임으로, 배심원이 된 관객이 스마트폰을 이용해 안드로이드 색출에 힘을 보태야 했다. 이 작품은 지난해 한국문화예술위원회의 ‘아트앤테크 창작활성화 사업’ 선정작이다.

또 다른 선정작인 이정연 댄스프로젝트의 ‘루시드 드림 II’도 가상의 공간에서 펼쳐진 공연이었다. 감각과 욕망까지 조절 가능한 신인류의 사랑 이야기를 영상기술과 현대무용의 융복합 퍼포먼스로 펼쳐냈는데, EEG 센서를 사용해 확보된 퍼포머의 의식 데이터가 증강현실(AR) 라이브 중계 기술로 시각화되고, 관객이 움직이며 상호작용한 결과가 프로젝션 매핑 기술을 통해 나타나 몰입형 AR 공간의 일부가 됐다.

굿을 미디어아트로 재해석한 ‘당클매다’. [사진 국립극단]

팬데믹 이후 디지털 전환이 사회적 화두가 되자 예술위원회는 올해 이 사업을 ‘예술과 기술 융합 지원사업’으로 변경하고 규모를 대폭 확대했다. 21억여원으로 13개 작품을 지원했던 지난해에 비해 올해는 47억여원을 들여 85개 프로젝트를 지원한다. 2월 말 개최한 ‘예술과 기술 융합주간’ 온라인 행사는 전문적인 주제임에도 1000명이 넘게 참여를 신청하고, 유튜브 조회 수 12만회를 넘기며 높은 관심을 입증했다.

기술은 소멸 위기에 처한 전통 예술도 살려낸다. 5월 초 국립극단이 기획한 미디어아트 그룹 이스트허그의 ‘당클매다’는 굿을 소재로 한 작품인데, 일찌감치 전석 매진됐다. 굿 음악과 EDM이 융합된 음악에 따라 춤추는 화려한 빛의 향연이 거대한 나무 형상의 오브제를 물들이면, 블루투스 헤드폰을 쓴 관객이 자유롭게 돌아다니며 ‘신’을 만났다. 이들은 지난달에도 예술의전당 ‘내일의 예술’전에 ‘신명: 풀림과 맺음’을 선보이며 굿과 기술의 접목을 꾸준히 시도하고 있는데, 음악에 따른 뇌파 데이터 변화를 영상으로 치환하는 알고리즘을 통해 관객 반응을 실시간으로 시각화하는 기술을 사용한다.

RSC의 온라인공연 ‘드림’. [사진 RSC]

해외에서는 이미 영화 ‘아바타’ 뺨치는 테크놀로지가 무대에 구현되고 있다. 영국 로열셰익스피어컴퍼니(RSC)는 2016년 인텔과 협업해 세계 최초의 라이브 디지털 연극 ‘템페스트’를 선보였는데, AR 모션캡처 기술로 3D 괴물이 관객 머리 위를 날아다니는 듯한 장면이 화제였다. RSC는 비대면 시대에 기술을 이용한 대안적 공연 문법까지 제시했다. 지난 3월 셰익스피어의 ‘한여름 밤의 꿈’을 온라인 공연으로 재창조한 ‘드림(Dream)’은 공연의 대체 불가능한 미학인 ‘라이브’에 포커싱해 게임 엔진으로 실시간 반응하는 디지털 아바타를 만들었다. 모션캡처 수트를 입은 배우들이 사방 7m 규모의 스튜디오에서 연기를 하면 온라인상에는 가상의 숲속 요정들로 디지털 전환되어 나타나고, 관객도 일정 요금을 내면 반딧불이 되어 극에 참여할 수 있었다.

이처럼 기술을 이용한 표현의 확장은 대부분 닫힌 작품을 넘어 열린 텍스트를 향한다. 퍼포머와 관객의 ‘인터랙션’에서 고유의 미학을 찾는다는 얘기다. 최종 생산물이 작품에 저장된 춤이나 연기가 아니라 관객과 미디어의 인터랙션이 되기에, 기술을 통해 얼마나 생생한 상호작용적 장치를 창조하는가가 관건이 된다. 미디어아트 전문가인 김이경 전 카이스트 문화기술대학원 교수는 “최근 관심을 끈 ‘레인룸’ ‘빛의 벙커’전처럼 기술을 통해 관객에게 총체적 몰입감을 주는 확장된 예술 경험의 제공이 전통적인 전시나 공연을 대체하고 있다”면서 “자기 정체성과 주권에 관한 표현이 강해진 시대 흐름과 MZ세대의 높은 디지털 리터러시가 맞물려 예술도 몰입형으로 가는 것”이라고 분석했다.

기술+예술+참여=새로운 예술

기술이 배경을 넘어 예술양식의 핵심적 요소로 부상하면서 예술이 기술에 묻혀버리지 않을까 하는 우려도 나온다. 디지털씨어터 사업을 기획한 정재왈 고양문화재단 대표는 “4차 산업혁명에 순수예술도 기술을 적극적으로 활용해 돌파구를 찾아야 한다”면서 “예술가들도 기술에 대한 강박을 수용, 체화해야 발전이 있다. 예술과 기술이 선순환 구조로 윈윈하려면 저작권 보호 등 정책적 보완도 필요하지만, 판을 키우는 게 먼저”라고 말했다. 안호상 홍익대 공연예술대학원장도 “기술의 도입은 경제적 이득이 되니 극장의 물리적 조건과 공연의 형식은 급속도로 변화될 것”이라면서 “BTS가 게임 플랫폼에서 활동하듯 장르 간 융합과 통섭을 통해 장벽이 무너지고 또 다른 예술이 탄생할 것”이라고 전망했다.

하지만 아무리 기술이 발전해도 관객이 예술에 바라는 것은 사람냄새 나는 감성적인 체험일 터. 기술과 융합된 공연에 인간성 자체에 대한 질문이 자주 보이는 것도 기술 사회라는 현실에서 인간이 소외되기 쉽기 때문이다. 정재왈 대표는 “기술을 앞세운 공연에 가장 중요한 건 인간적인 서사다. 노벨상 작가 가즈오 이시구로의 소설 『클라라와 태양』을 읽으며 로봇에 감정이입되는 것이 작가가 구축한 서사의 힘 덕분이듯, 공연에서도 좋은 서사가 진화의 기본 조건”이라고 말했다. 김이경 교수도 “기술의 사용은 예술의 도구화에 대한 위험을 항상 지니지만, 디지털 시대에도 예술의 궁극적 가치는 기술을 통해 변화하는 삶의 본질을 성찰하고 새로운 문화양식을 표현하는 데 있다”면서 “기술도 결국 예술의 창작력을 강화시키는 방향으로 사용되고, 이는 예술가들의 창조적 능력과 관객의 참여에 따라 달라질 것”이라고 내다봤다.

‘A, 아이’ 연출·기술감독 “기술은 다른 차원의 이야기를 보여줄 수 있는 도구”

홍사빈

고동욱

고양문화재단의 디지털씨어터 ‘A, 아이’는 배우이자 연출가인 홍사빈이 연극 제작자였던 아버지의 죽음을 모티브로 연극이 사라진 시대를 애도하는 작품이다. 홍씨는 아버지와 연극의 흔적을 좇는 여정을 함께 할 가상의 존재를 불러내기 위해 기술 기반의 미디어아트 그룹 이스트허그에 협업을 제안했다. RSC가 ‘드림’에 사용한 첨단 게임 엔진으로 디지털 휴먼 제작을 책임지고 있는 고동욱 이스트허그 대표는 “과거에 수많은 인력이 동원됐던 모션 캡처를 AI 기술로 혼자서도 할 수 있게 됐다”면서도 “예술이 기술에 묻히지 않는 것이 가장 중요하다”고 했다.

연극에 메타휴먼 기술이 왜 필요한가.

(홍) 연극이 사라지기 전의 인물인 ‘A’와 사라진 후의 인물인 ‘아이’가 만나는 이야기다. 아버지의 죽음을 애도한다는 개인적인 이야기를 관객과 공유하기 위해 아버지를 연극과 동일시했고, 애도의 과정을 A라는 객관화된 주체와 함께 진행한다면 더 설득력이 생길 것이라 생각했다. 초현실적인 캐릭터를 위해 실존 배우가 아닌 가상의 배우를 선택했다.(고) 이스터허그의 굿작업도 신의 존재를 디지털로 표현하는데, 아날로그와 디지털이 완전히 다르기 때문이다. 디지털이란 어디서든 존재하기도 안 하기도 하는 개념이다. 실제 배우가 무대에 선다면 그 공간에 있기도 하고 없기도 한 가상의 존재의 느낌을 낼 수 없다.

기술로 사람을 대체하는 셈 아닌가.

(홍) 대체가 아니라 좀 다른 의미를 창출하고 싶다. 연극이 사라진 시대에 계속 연극의 의미를 좇는, ‘그럼에도 불구하고’에 대한 이야기다. 그걸 이야기하는 두 사람이 한쪽은 AI고 한쪽은 인간인데, 둘의 시너지로 ‘연극이 사라져도 우리는 계속 연극을 좇을 거야’라는 암시를 주려는 거다.(고) 기술로 예술을 하면서 늘 고민하는 게 ‘내가 기술에 잡아먹히지 않았을까’다. 굿 작업에서도 치유와 희망을 전할 뿐인데 대개 ‘뇌파를 어떻게 썼냐’ 묻는다. 오히려 한 할머니 관객이 ‘오랜만에 굿을 봐서 좋았다’고 했을 때 전율했다. 기술은 메시지를 전달하는 도구일 뿐, 기술적 퍼포먼스를 위해 공연을 만들지 않는다.

아날로그 미학은 퇴색되지 않을까.

(홍) 시대에 맞춰서 하고 싶은 이야기를 크게 보여주는 재료를 써보고 싶을 뿐이다. 또 다른 차원의 이야기를 잘 보여줄 수 있는 도구를 못 쓰면 더 아쉬울 것 같다.(고) 기술이 발전하면 아날로그로 돌아간다고 생각한다. 예컨대 VR로 찍은 영화는 관객이 시선을 선택하기에 영화적 연출이 아니라 연극적 연출을 하게 되고, 그래서 연극적 연출 문법이 다시 중요해진다. 마찬가지로 공연에서도 기술은 결국 인간과 맞닿게 되고, 다만 어떤 공연과 기술이 잘 어울리는지 판단이 중요해질 것이다.

유주현 기자/중앙컬처&라이프스타일랩 yjjoo@joongang.co.kr