🤖 대규모언어모델(LLM : Large Language Models)?
챗GPT와 같이 자연 언어 입력에 대해 인간과 유사한 응답을 생산하기 위해 텍스트 데이터로 훈련된 AI. 자연어 질문에 사람처럼 대답하기 위해 대량의 기사, 위키피디아 항목, 책, 인터넷 기반 자료, 기타 입력물을 학습한다.
지난 2월 메타(Meta)는 매개변수(모델의 정교함을 측정하는 척도)가 650억 개에 달하는 언어 모델 ‘라마(LLaMA)’를 공개하면서 생성형 AI 경쟁에 가세했다. 구글은 지난 5월, 최신 대규모 언어모델 ‘팜2’(PaLM2)를 탑재한 대화형 인공지능 ‘바드’(Bard)를 전 세계 180여 개국에 본격 공개했다.
최근 중국은 “현재 중국에선 10억 개 이상의 매개변수가 있는 80개 이상의 LLM이 대중에게 공개되었으며, 그중 절반은 베이징에 있다”고 밝혔다. 중국 유력 경제지 경제관찰보(經濟觀察報, The Economic Observer)의 통계에 따르면 7월 기준 중국 전역에 약 106개의 LLM이 등장했으며 이 중 베이징에 소재한 기업만 약 54개로, 절반 이상을 차지했다. 이어 상하이 12곳, 선전 11곳, 항저우 8곳 등으로 집계됐다.
중국 당국도 LLM 기술 도입에 적극적인 모양새다. 지난 4월 열린 중국공산당 중앙정치국 회의는 AI의 발전을 중시하고 혁신적인 생태계를 조성해야 한다고 제안했다. 지난 5월 열린 제20기 중앙금융경제위원회 제1차 회의에서는 생성형 AI, LLM 등 새로운 기술혁명의 물결을 파악하는 것이 필요하다고 지적했다. 이후 전국적으로 대형언어모델에 대한 지원 정책이 잇달았다.
올해 3월, 바이두는 중국 최초로 대규모언어모델인 ‘원신(文心)’을 발표했다. 바이트댄스는 산하 AI 알고리즘 기술기업 훠산인칭(火山引擎·Volcano Engine)을 통해 지난 6월 LMM 플랫폼 볼케이노아크(火山方舟)를 발표했다. 징둥은 지난 4월 ‘ChatJD’라 불릴 수 있는 챗GPT 경쟁 제품을 출시할 예정이며 비즈니스 애플리케이션에 중점을 둘 것이라고 밝힌 바 있다.
중국 AI 개발업체 센스타임(SenseTime), 음성인식 전문기업 아이플라이텍(iFlyTek) 등 다른 기업들도 경쟁에 가세했다. 신생 스타트업도 속속 기술 개발에 돌입했다.
지난 4월 알리바바 클라우드는 대규모 AI 언어 모델 ‘통이치엔원(通義千問)’을 발표했는데, 그 투자 비용 역시 천문학적인 것으로 나타났다. 알리바바 보고서에 따르면 2022년 연구 개발에 204억 6000만 위안(약 3조 600억 원)을 투자했고, 주로 AI가 포함된 분야에 할당된 것으로 밝혀졌다. 신생 스타트업 투자사 GSR벤처스의 알렌주(Allen Zhu)는 “ChatGPT가 AI 스타트업에 저주가 될 수 있다”고 언급했다.
실제로 LLM 사업에 뛰어든 신생 스타트업 100여 곳 중 ‘유니콘’ 기업에 등극한 곳은 겨우 두 곳, AI 스타트업 미니맥스(MiniMax)와 생성형 AI 스타트업 라이트이어비욘드(光年之外 이하 라이트이어)다. 미니맥스의 경우 생성형 AI에 2년 이상을 전념했기에 가능한 일이었다. 그러나 라이트이어는 지난 6월 갑작스레 메이투안에 지분 100%를 넘기며 ‘결국 AI 개발은 대형 기업이 주도할 수밖에 없다’는 인식을 남겼다.
일부 투자 기관도 우려를 표했다. 한 주요 시장 투자자는 중국 과학기술매체(甲子光年)와의 인터뷰에서 “중국의 과잉 반응(과열된 기술 개발)에 대해 매우 우려하고 있다”며 “투자는 수익 창출 여부를 고려해야 하는데, 이러한 종류의 투자(LLM)는 결국 낭비에 가깝다”고 언급했다. 그는 대규모언어모델이 기업에 ‘정말 필요한 것’인지를 여러 관점에서 파악해야 한다며, ‘개발하지 않으면 도태된다’는 인식을 버려야 한다고 덧붙였다.
실제로 중국 포털 업체 서우거우(搜狗) 전 CEO 왕샤오촨(王小川)이 개발한 바이촨 모델조차도 상당히 제한적인 투자를 받은 것으로 알려졌다.
베이징 대학 인공지능 연구소 부소장 황티에쥔(黃鐵軍)은 텐센트 뉴스에서 “세계는 아마도 단지 세 개의 큰 인공지능 모델만 필요”할 것이라고 비관했다.
제20차 전국대표대회에서 산업 문제를 언급할 때 차세대 정보 기술과는 별도로 인공지능을 콕 집어 말했던 중국이다. 중국은 미국을 넘어 더 혁신적인 제품을 만들 수 있을까? 그 전에, 현재 연구에 나선 기업들의 제품 상용화가 가능할까. 기술 굴기에 자만하던 중국의 성과가 어떠할지 지켜볼 일이다.
김은수 차이나랩 에디터