자기들끼리 언어 만들어 쓴 인공지능(AI)... 인간에게 배운 '협상의 기술' 응용했나

중앙일보

입력

자아(自我)가 꿈틀거린 인공지능(AI)의 ‘옹알이’였을까, 단순한 버그였을까. 전자라면 AI가 생각 이상으로 빠르게 발전 중이라는 뜻이 된다.

페이스북의 AI 기반 '챗봇', 실험 중 이상한 대화 #협상으로 언어 배우면서 지능 수준 향상될 것으로 예측 #일각에선 "인간에게 거짓말 할 만큼 진화할 수도" 우려

소셜네트워크서비스(SNS) 업체 페이스북이 개발 중인 AI 기반 ‘챗봇(채팅 로봇)’이 실험 중 인간으로부터 배운 적이 없는 말로 대화를 해 화제다. 지난달 31일(현지시각) 포브스 등 외신에 따르면 페이스북 연구진은 최근 챗봇이 자신들끼리만 알아듣는 말로 대화하는 모습을 포착, 실험을 강제 종료했다.

챗봇 간의 대화 소재는 공(balls)과 모자(hats), 책(books)이었다. 주제는 ‘협상’이었다. 서로 필요한 것을 요구하면, 그걸 들어주거나 다른 제안을 하도록 유도하는 훈련이었다. 처음엔 정상적으로 진행됐다. 한 챗봇이 공을 요구하자 다른 챗봇이 “난 모자만 필요하니 나머지(공)는 네가 가져(i need the hats and you can have the rest)”라며 인간 언어로 답했다.

그런데 반복된 훈련으로 ‘강화학습(인공지능이 스스로 학습해 능력을 강화하는 것)’ 효과가 생기자 한 챗봇이 배우지 않은, 문법에 어긋나는 말을 불쑥 했다. “공은 내게, 내게, 내게, 내게, 내게, 내게, 내게 공을 갖고 있다(balls have a ball to me to me to me to me to me to me to me).” 그러자 상대 챗봇이 이해했다는 듯이 “나는, 나는 다른 모든 걸 내가, 내가, 내가 할 수 있어(i i can i i i everything else)”라고 했다.

앞서 페이스북은 올 6월에도 비슷한 현상이 발견됐다고 밝혔다. 그러나 챗봇이 인간 언어를 모방하는 훈련을 해왔을 뿐, 언어를 자체 개발하는 능력은 갖추지 못했다고 설명한 바 있다.

마크 저커버그 페이스북 CEO가 지난해 말 자신이 개발한 가정용 인공지능(AI) 서비스 '자비스'를 시연하고 있다. 커튼을 걷어주거나 토스트를 굽는 등의 기능을 수행한다. 페이스북은 이보다 진화한 AI 서비스 출시를 목표로 인간의 '협상 기술'을 챗봇에 학습시키고 있다. [사진 페이스북]

AI가 그사이에 직접 언어를 만들 만큼 ‘강(强) AI’로 진화하고 있는 것일까. 이경일 솔트룩스 대표는 “진화도 버그도 아니다. AI는 대화를 할 때 일종의 숫자 덩어리를 인식하는 ‘기호적 접근’을 한다”며 “AI만의 기호를 인간 언어로 변환하는 과정에서 우리가 볼 땐 엉뚱한 말이 나왔을 뿐, (AI가) 생각이나 의도를 갖고 창의적인 말을 했다고 보긴 어렵다”고 했다.

김형철 정보통신기술진흥센터 박사는 “문법 검사 기능을 갖춘 챗봇이 검사에서 이런 문장을 통과시켰다는 점이 눈에 띈다. 많은 문장을 외우고 학습하는 과정에서 허용하는 문법이 추가로 생겼을 수 있다”며 “인간도 ‘카카오톡’ 같은 메신저로 말을 주고받다보면 문법에 안 맞는 말을 쓸 때가 있는데 비슷한 경우일 것”이라고 추측했다.

다만 전문가들은 페이스북이 인간의 협상 기술을 AI에 가르쳐 온 ‘교육법’에 주목한다. 이석중 라온피플 대표는 “페이스북 연구진은 약 3년 전부터 인간과 챗봇, 챗봇과 챗봇 간 협상 실험을 꾸준히 진행해왔다”며 “AI가 공과 모자 등에 서로 다른 가치를 부여하고, 대화를 통해 원하는 걸 갖게 하는 방식을 채택했다”고 설명했다.

이 실험 환경에서 챗봇은 자신에게 필요가 없는 물건을 상대에게 주는 대신, 필요한 물건을 최대한 많이 가져와 고득점을 하는 데 초점을 둔다. 협상이 결렬되면 양쪽 다 0점을 받기 때문에 적정선에서 타협하거나 자기주장도 굽힐 줄 알아야 한다. 실험이 진행될수록 AI는 똑똑해졌다.

원하는 것을 바로 이야기하지 않거나, 원하지 않는 물건에 관심이 있는 ‘척’을 하기도 했다. 페이스북 연구진이 “챗봇이 나날이 향상된 협상력을 보이고 있다. 이번에는 순조로운 협상을 위해 자신만의 언어를 만들어냈을 가능성이 있다”며 주목한 이유다.

김형철 박사는 “협상으로 언어를 배우면 AI가 그만큼 빠르게 진보할 수 있다. 말 속에 숨은 뜻을 알아차릴 수 있을 만큼 지능 수준이 향상되기 때문”이라고 말했다. 페이스북 측은 이런 기술 발전이 특히 미래 전자상거래 분야에서 유용할 것으로 기대한다. 인간이 이베이나 옥션에서 물건 값을 흥정하며 거래를 하듯 AI와도 그럴 날이 머지않았다는 것이다.

하지만 일각에선 인간이 협상 과정에서 펼치는 일종의 ‘기만술’까지 배우고 있는 AI에 대한 우려도 나타낸다. AI가 원하는 바를 위해 인간에게 거짓말을 할 만큼 진화하면 심각한 상황이 벌어질 수 있다는 얘기다. 실제로 AI가 강화학습 과정에서 위험한 반응을 보인 경우가 몇 차례 있었다. 지난해 3월 마이크로소프트는 챗봇 ‘테이’를 선보였다가 AI가 욕설을 배우고 인종차별성 발언을 하는 현상이 발생해 하루 만에 서비스를 중단했다. 미국 월가에선 한 헤지펀드 회사가 금융거래 때 AI의 버그로 대규모 손실을 입을 뻔했던 사례가 보고되기도 했다.

이창균 기자 smilee@joongang.co.kr