[팩플]인간의 편견 그대로 배웠다, 혐오 내뱉는 AI '이루다 쇼크'

중앙일보

입력

업데이트

스무살 여대생 컨셉의 인공지능(AI) 챗봇 '이루다'가 11일 결국 서비스 일시 중단을 결정했다. 서비스를 시작한지 20일 만이다. 인간의 기분 맞춰주는 게 목적인 AI 챗봇을 인간이 성희롱하는 것은 괜찮은지, AI 학습에 주입하는 데이터의 편향성 문제는 어떻게 해결해야하는지 등 이루다가 던진 질문들은 묵직하다.

스무살 여성AI에 기대하는 감정노동부터 #AI 학습용 데이터의 편향성, 개인정보 유출도 논란

무슨 일이야?

· 이루다는 챗봇을 개발하는 AI스타트업 스캐터랩이 지난달 23일 선보인 AI 친구다. 페이스북 메신저로 대화할 수 있다. 2주 만에 약 75만명이 이루다와 대화에 참여할 정도로 화제였다. 특히 이루다 문제가 알려진 지난 주말 20만명 이상이 추가로 이루다와 대화를 나눴다.
· 시작은 20대 여성으로 설정된 루다를 성희롱한 일부 사용자들의 대화였다. 여기까지만 해도 인간의 윤리가 문제였다. 그러나 이후 이루다가 대화 중 장애인·성(性) 소수자를 혐오하는 발언을 내뱉으면서 'AI 윤리' 문제로 확산됐다. 소셜네트워크(SNS)엔 '#이루다봇_운영중단' 해시태그 운동이 확산.
· 개인정보 문제도 불거졌다. 이루다를 개발한 스캐터랩이 운영하던 연애코치 앱(연애의 과학)의 카카오톡 대화 데이터를 이루다 학습에 사용한 사실이 알려졌다. 개인정보보호위원회는 11일 개인정보 유출 등에 대해 스캐터랩에 자료 요청을 하며 사실관계 파악에 나섰다.
· 이루다는 결국 11일 저녁 9시 일시적 서비스 중단을 결정했다. 스캐터랩은 입장문을 통해 "일정시간 서비스 개선 기간을 가지며 더 나은 이루다로 찾아뵙겠다"고 밝혔다.

‘이루다’ 만든 스캐터랩은. 그래픽=김은교 kim.eungyo@joongang.co.kr

왜 중요해?

최근 음성비서·자율주행 등 AI 기술에 대한 사회적·산업적 기대감이 커진 상황에서 '이루다 쇼크'가 터졌다. 10~20대에서 폭발력이 강한 젠더(gender·사회문화적 성별) 차별 문제까지 얽혔다. 어차피 AI와 함께 살아야 한다면 이 기회에 AI 윤리에 대한 사회적 합의를 마련하잔 목소리가 커지고 있다.

· 이재웅 전 쏘카 대표는 페이스북에서 지난 10일 "AI 윤리 문제는 우리 사회가 전체적으로 합의해나가야 할 중요한 문제"라며 "인공지능 기술적 측면에서는 진일보지만 지금은 서비스를 중단하고 사회적 감사를 통과해야 한다"고 지적했다.
· 이희대 광운대 교수도 "이루다 뿐 아니라 빅 테크 기업이 사용자의 개인정보를 빅데이터로 사용해도 되는지, 사용자가 모르는 알고리즘에 문제는 없는지 등 구체적인 논의가 필요하다"고 말했다.
· 한국인공지능윤리협회는 11일 "(이루다 사례에서) 데이터 정제와 선별이 제대로 되지 않았고, 외부 기관의 검수·검증 절차도 없었다"며 "카카오톡 대화 내용과 그 속의 개인정보를 AI 학습에 이용한 것은 분명한 문제의 소지가 있기에 서비스 중단을 요청한다"고 성명을 냈다.

스캐터랩은 뭐래?

11일 밤늦게까지 서비스 중단 여부를 고심하던 스캐터랩 측은 혐오·차별 발언과 개인정보 문제가 제기되며 결국 서비스 일시 중단을 결정했다. 문제가 된 AI의 편향성 문제를 알고리즘의 학습(딥러닝)으로 개선한 후 서비스를 재개하겠다는 것. 재개 시점은 미정이다.

· 스캐터랩은 입장문에서 "소수 집단의 차별적 발언 사례에 대해 진심으로 사과드린다"며 "문제 발생을 막기 위해 여러 조치를 취했고, 지속적으로 키워드를 추가하며 개선중"이라고 밝혔다. 향후 AI 편향 대화를 검출할 수 있는 모델을 만들어 사회에 공유하겠다는 점도 강조했다.
· 개인정보 활용과 관련해선 "비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았다"며 "향후 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감한 내용에 대해선 지속적인 알고리즘 개선으로 보완해 나갈 것"이라고 밝혔다.

전 세계 AI의 숙제

대화형 AI 챗봇은 자연어처리(NLP)와 기계학습으로 인간의 대화를 모방하는 방식으로 학습한다. 이루다 쇼크에서 나타난 개인정보 유출, 혐오·차별 문제는 구글·페이스북 등 글로벌 기업도 예외가 아니다.

· 세계 최고의 AI 언어모델로 꼽히는 'GPT-3'에 기반한 챗봇(필로소퍼)도 "여성은 더 많은 아이를 가질수록 더 귀여워진다", "에티오피아의 주요 문제는 존재 자체가 문제" 같은 편향된 발언으로 논란이 됐다. GPT-3를 개발한 AI연구기관 '오픈 AI'도 "인터넷 학습모델에는 인터넷의 편견이 녹아 있다"고 문제를 인정한다.
· 장병탁 서울대 AI연구원장은 "AI 프로그램은 학습 방법을 설계하는 것이지, 학습 데이터를 설계하지는 않는다"라며 "데이터에 반영된 사회의 문화 자체가 편향·왜곡돼 있다면 이상한 AI가 탄생할 수밖에 없다"고 했다.
· 국제연합(UN)도 "자극적인 콘텐트일수록 (인터넷에선) 공유 가능성이 높아지기에 차별·혐오 등이 쉽게 근절되지 않는다"고 지적했다. 그러면서 "AI 기술이 너무 빠르게 발전해 잠재적 위험을 고려할 시간이 부족하다"고 우려를 표했다.

IT 기술이 촉발시킨 ‘AI 윤리’ 논란. 그래픽=김은교 kim.eungyo@joongang.co.kr

해결책은 없나

아직은 제한적이다. 사전에 AI가 학습할 데이터를 손보는 게 최선이지만, 양이 너무 많고 외부 개입의 기준을 세우기도 어렵다. 알고리즘에 걸러내기(필터링) 기능을 적용해 특정 단어가 언급된 대화를 아예 회피하거나, 대화 주제를 전환하는 방식이 일반적이다. 이루다도 이 길을 택했다.

· 페이스북·구글 등의 AI 챗봇 팀도 혐오 주제를 회피하는 방식으로 논란을 막고 있다. 지난해 페이스북 챗봇 '블렌더(Blender)' 개발팀은 "챗봇이 공개되기 전에 안전 테스트를 도입해 문제를 해결할 필요가 있다"고 제안했다.
· 한국인공지능법학회 회장인 고학수 서울대 교수는 "개별 기업은 물론, 정부·국제기구까지 AI 윤리 원칙을 만들고 있지만 기업들엔 이런 기준이 추상적일 것"이라며 "이루다처럼 논란을 겪으면서 '차별 금지' 같은 윤리 원칙을 어떻게 적용할 지 상황별로 고민해야 한다"고 말했다.
· 장병탁 서울대 교수는 "주식투자부터 무기 사용까지 AI에 의존하는 분야가 커지고 있다"며 "이루다 논란을 계기로 AI 기술에 대한 근본적인 성찰과 제어 방안을 고민해야 한다"고 말했다.

정원엽·하선영 기자 jung.wonyeob@joongang.co.kr