버퍼링 없애는 인공지능…인터넷 느려도 고화질 영상 보여준다

인터넷 연결이 느려지니 잘 돌아가던 유튜브 영상 해상도가 저화질로 바뀐다. 다시 시작해보면 괜찮을까 싶어 ‘새로 고침’ 버튼을 눌러보지만 소용없다. 가슴이 답답해진다. 인터넷 연결상태와 무관하게, 유튜브와 넷플릭스 영상을 고화질로 감상할 수는 없을까.

국내 연구진이 인공지능(AI) 신경망에 쓰이는 딥러닝 기술을 이용해 이런 문제를 해결할 수 있는 대안을 제시했다. KAIST 전기 및 전자공학부 신진우ㆍ한동수 교수 공동연구팀은 30일 기존 ‘적응형 스트리밍(HTTP adaptive streaming)’과 딥러닝 기반 ‘초해상화(Super-resolution)’ 기술을 접목해 네트워크 상태와 관계없이 화질을 개선할 수 있는 기술을 개발, 국제 특허 출원도 완료했다고 밝혔다.

화질 반복학습한 DNN...비디오와 함께 다운받아 해상도 높여 

이 기술에는 인공지능이 데이터를 분류하고 스스로 학습하는 딥러닝의 기본 단위, 즉 ‘심층신경망(DNNㆍDeep Neural Network)’이 사용된다. 연구를 진행한 한동수 교수는 “DNN을 여러 층 쌓으면 딥러닝 기술이 된다”며 “DNN의 일종인 심층 콘볼루션 신경망(CNN)이 저화질과 고화질을 반복적으로 보며 학습해, 저화질을 고화질로 변환하는 원리”라고 설명했다.

카이스트 연구진이 기존의 적응형 스트리밍 기술과 딥러닝 기반 초해상화 기술을 접목해 화질을 개선할 수 있는 기술을 개발했다. 영상이 다운로드 될 때, 초해상화를 구현하는 2MB 크기의 심층 신경망이 함께 다운된다. [사진 KAIST]

화소로 구성된 디스플레이에서 수평과 수직의 비율을 정교하게 확장해 저화질을 고화질로 전환하는 기술을 ‘초해상화’라 하는데, 동영상을 스트리밍할 때 초해상화를 구현하는 인공지능 CNN이 함께 다운로드돼, 화질을 개선한다는 것이다.

특히 CNN 파일은 그 크기가 최대 2메가바이트(MB)에 불과할 정도로 용량이 작아, 동영상과 함께 다운받을 때 무리가 없으며 여러 개 조각으로 나눠 받을 수도 있다. 신경망의 일부만 다운로드 받아도 화질 개선이 부분적으로 이루어질 수 있도록 설계됐다. 신경망을 조각으로 다운받을 수 있는 기술은 기존 기술에서 가져왔다. 유튜브ㆍ넷플릭스 영상을 스트리밍할 때, 컴퓨터는 긴 영상을 짧은 시간의 여러 비디오 조각으로 나눠 다운로드 받는데, 심층신경망도 동일한 방식이 적용될 수 있도록 한 것이다.

같은 값이면 40% 더 높은 영상 품질 볼 수 있다

연구를 진행한 한동수ㆍ신진우 교수 연구팀. 왼쪽부터 KAIST 김재홍, 정영목 석사과정, 여현호 박사과정, 한동수 교수, 신진우 교수. [사진 KAIST]

한동수 교수는 “시청자가 주관적으로 느끼는 품질을 의미하는 체감 품질(QoEㆍQuality of Experience)을 보면, 1초만 버퍼링이 걸려도 시청자들이 대거 이탈하는 것을 알 수 있다”고 말했다. 그러나 새로 개발된 기술은 인터넷 대역폭이 기존의 26.9%에 불과해도 최신 적응형 스트리밍과 같은 수준의 QoE를 제공할 수 있다는 설명이다. 만약 동일한 대역폭이 주어진 경우에는, 인터넷 상태에 따라 화질이 바뀌는 기존의 ‘적응형 스트리밍(HTTP adaptive streaming) 전송기술’보다 40% 더 깨끗한 해상도를 제공할 수 있다.

한 교수는 “딥러닝 기법을 이용해 기존 비디오 압축 방식보다 더 많은 압축을 이뤄낸 것"이라며 "지금은 데스크톱에서만 구현했지만, 앞으로는 모바일 기기에서도 작동할 수 있도록 발전시켜 나갈 것"이라고 밝혔다. 이 연구 결과는 2년 마다 개최되는 컴퓨터시스템 분야 학술회의 ‘유즈닉스 OSDI’에서 지난 10일 발표됐다.

허정원 기자 heo.jeongwon@joongang.co.kr