1초에 1개 작문…수능 고득점 위해 만든 ‘바이두 AI’, 뭐길래?

지난 7~8일 중국의 대학 입학시험 가오카오(高考)가 실시됐다. 이번 시험은 중국 전역에서 무려 1193만 명이 접수하며 접수 인원이 사상 최대를 기록한 것으로 드러났다. 중국 수능 가오카오의 첫 시험과목은 어문이다. 어문 중 가장 중요한 항목은 작문 시험이다. 특히 이번에 치러진 작문 시험은 난도가 높았다는 평가다.

작문 시험이 끝난 후 문제가 공개되자, 중국 IT 기업 ‘바이두’도 작문에 도전했다. 정확히 말하면 바이두의 가상 인간, 두샤오샤오(度曉曉)가 치른 시험이다.

바이두가 2022년 출시한 수험생 맞춤형 플랫폼 두샤오샤오(度曉曉). [사진 바이두]

두샤오샤오는 바둑 용어인 본수, 묘수, 속수를 비교해 수험생의 생각을 적도록 한 문제를 읽고 40초 만에 40개 이상의 답안을 서술했다. 1초에 1개 이상의 답안을 작성한 셈이다.

작문 속도뿐만 아니라 문장 구조 역시 완벽했다는 평가다. 논리가 분명하고 문장 구사력이 유창하며 인용은 물론 대구, 비교, 은유와 같은 수사법도 활용했다. 베이징대학 어문입시 팀장을 지냈던 션이(申怡)는 두샤오샤오의 글에 60점 만점 중 48점을 줬다. 이는 이번 입시 지원자의 상위 20% 수준이다.

두샤오샤오는 바이두가 올해 수능생을 위해 개발한 맞춤형 콘텐트 서비스로, 수험생이 수능·입시 관련 정보를 얻을 수 있는 플랫폼이다. 수능 지식 도표, 입시 정보 서비스, 수능 스마트 미니 프로그램 등을 제공하며 수험생 특성에 따라 개인화된 응시 원서 추천과 양질의 콘텐트를 이용할 수 있다.

두샤오샤오가 쉽고 빠르게 작문을 완성할 수 있는 데에는
‘바이두 원신’ 기술력이 뒷받침됐다.

두샤오샤오 프로그램은 ‘바이두 원신’을 바탕으로 인터랙티브 기술, 3D 디지털 휴먼 모델링, 기계번역, 음성인식, 자연언어 이해 등의 디지털 기술 응용이 포함됐다.

원신은 바이두가 2019년 발표한 AI 기반 지식 강화 자연어처리(Natural Language Processing, NLP)* 모델 및 플랫폼이다. 정확한 명칭은 ‘원신대모형(文心大模型·BAIDU Wensin, ERINIE 3.0 Titan 버전)’으로, 바이두의 딥러닝 프레임 워크인 패들패들(PaddlePaddle,飞桨)에 기반을 둔 프로젝트다.

2019년 12월, 바이두 원신은 대표적인 자연어 이해 지표인 GLUE(General Language Understanding Evaluation·자연어 이해 평가) 대회에서 90.1점을 기록하며 MS(89.9점), 구글(89.7점)을 앞질러 경쟁사들을 놀라게 했다.

*자연어 처리는 컴퓨터가 사람처럼 언어를 이해하고 처리하며, 구사할 수 있도록 만드는 인공지능 기술이다. 포털 내 번역 기능과 챗봇을 활용한 질의응답 등에 활용된다.

[사진 바이두]

바이두 AI 기술의 진화, 어디까지?  

AI의 진화가 새로운 장으로 접어들며 딥러닝을 이용해 지식과 데이터를 통합하면서 AI 모델의 효율성과 정확성이 상당히 개선됐다. 2011년부터 바이두 AI 인프라는 새로운 정보를 수집하여 대규모 지식 그래프(knowledge graph)에 통합했다. 현재 이 지식 그래프에는 일상의 모든 부분뿐만 아니라 제조, 제약, 법, 금융 서비스, 기술, 미디어와 엔터테인먼트 등 특정 산업별 주제까지 아우르는 5,500억 개 이상의 ‘사실(fact)’이 들어있다.

이 지식 그래프와 방대한 데이터 포인트(data point)들이 ‘바이두 원신’을 구성하는 요소 중 하나다. 바이두 원신은 독해력, 텍스트 분류, 의미 유사성 파악 등 60가지 자연어 처리 작업에서 지식 그래프가 없는 다른 언어 모델들보다 뛰어난 성능을 보인다.

바이두 원신은 사전학습 언어 모델을 통해 AI 기술력과 대중화를 촉진 중이다. 특히 AI가 글을 쓰고, 그림을 그리고, 편집하고, 생방송을 진행하는 ‘AIGC (AI Generated Content)’ 기술이 점차 성숙해지고 있다. 이 역시 바이두 원신 기술이 활용됐다.

바이두 연구원에 따르면 2022년 AIGC 기술은 원신의 크로스-모델링 통합 기술력에 의해 스케일이 더욱 확장될 것으로 전망된다. 영국 이코노미스트는 최근 “원신 ERINIE 모델이 중국 최고의 AI 기반 지식 강화 프로젝트이며. AIGC의 보급은 인류의 창작에 더 많은 영감을 줄 수 있을 것”이라고 평가했다.

[사진 바이두]

기술 측면에서 바이두 원신과 같은 사전학습 대형 언어모델은 기존 모델이 직면했던 많은 문제를 해결해 주고 있다. 과거에는 각각의 작업을 각기 다른 모델이 따로따로 해결해야 했다면, 이러한 범용 모델은 텍스트 분류와 질의응답 같은 다양한 다운스트림 자연어 처리 작업을 하나의 통합된 장소에서 실행하기 위한 기초를 마련하는 데 도움이 된다.

바이두의 딥러닝 프레임 워크인 패들패들(PaddlePaddle,飞桨)은 개발자 친화적인 도구들도 제공한다. 범용모델을 조금 조정해서 특정 사용 목적에 맞게 맞추는 모델 압축 기술들도 그러한 도구에 포함된다. 패들패들은 대형에서 소형까지 공식적으로 지원되는 400개 이상의 산업용 알고리즘을 제공하며, 이러한 라이브러리는 범용 모델 크기의 극히 일부에 불과하지만, 성능은 비슷하기 때문에 모델 개발 및 운영 비용을 절감할 수 있다.

패들패들에는 지난 몇 달간 개발자들이 찾은 200개 이상의 사전 검증된 모델을 통해 찾은 39개 새 알고리즘과 따로 발견한 149개의 새 알고리즘이 있다. 바이두에 따르면 현재 190만명 이상의 개발자가 패들패들을 사용하고 있으며, 8만 4000개 기업이 이 프레임워크를 갖춘 23만개 이상의 모델을 출시했다.

바이두의 딥러닝 프레임 워크인 패들패들(PaddlePaddle,??) [사진 바이두]

패들패들을 제외하고도 현재 바이두의 오픈소스 딥러닝 기술은 400만 명 이상의 AI 개발자들을 지원하고 있으며, 지금까지 총 47만 6,000개의 모델을 제작했다. 이들의 오픈소스 기술은 글로벌 15만 7천 개 기업과 기관이 AI가 주도하는 방식으로 변화하는 데 기여하고 있다.

바이두는 위에서 언급했던 각종 사례는 세상을 인간처럼 인식하는 데 한 발짝 더 다가서고 있으며, 음성인식, 컴퓨터 비전, 증강현실(AR) 및 가상현실(VR), 지식 그래프, 사전학습 대형 언어모델 같은 기술을 통합하는 바이두 AI 인프라에서 일어나고 있는 혁신의 결과라고 언급했다.

차이나랩 김은수 에디터

[사진 차이나랩]