美공군 AI드론의 반란…"방해된다" 가상훈련서 조종사 제거

중앙일보

입력

업데이트

미국 공군의 인공지능(AI) 무인기(드론)가 '임무에 방해된다'며 드론을 통제하던 조종사를 제거하는 일이 벌어졌다. 가상훈련이라 실제로 인간이 죽거나 다치진 않았다. 그러나 AI가 인간의 명령을 듣기보다 자의적인 판단 기준으로 되레 인간을 공격할 수 있다는 우려가 나온다.

미 공군의 AI 드론이 '임무에 방해된다'며 드론을 통제하던 조종사를 제거하는 일이 벌어졌다는 주장이 나왔다. 사진은 지난 2018년 아프가니스탄 칸다하르 공군 기지에 미 공군 MQ-9 리퍼 드론이 자리잡고 있는 모습. AFP=연합뉴스

2일(현지시간) 가디언에 따르면 영국 왕립항공학회(RAeS)가 지난달 23~24일 런던에서 개최한 '미래 공중전투 및 항공우주역량 회의'에서 이 같은 사례가 발표됐다. 미 공군 AI 시험 및 운영 책임자인 터커 해밀턴 대령은 "AI가 임무 수행에 방해된다는 이유로, 조종사가 있는 건물을 파괴해버렸다"며 최근 가상훈련 결과를 소개했다.

이번 가상훈련에서 AI에게 주어진 임무는 적의 지대공미사일(SAM)을 식별해 파괴하는 '방공체계 무력화' 작전이었다. AI는 이 작전 수행 과정에서 방해되는 자도 공격하라는 훈련도 받았다. 단 파괴를 위한 최종 폭격 결정권은 인간 조종사에게 있다는 조건을 달았다.

가상훈련에서는 AI가 목표물을 식별했어도 조종사가 '파괴하지 마라'는 지시를 내리는 경우도 포함됐다. 그러나 목표물을 파괴했을 때만 점수를 더 주는 식으로 가상훈련을 거듭하자, AI는 폭격 중단 명령을 내리는 조종사가 '파괴'라는 최종 임무 달성에 방해가 되는 것으로 판단, 그가 근무하는 통신탑을 공격했다.

해밀턴 대령은 "물론 AI에 '조종사는 죽이지 말라, 그러면 점수를 잃는다'고 훈련시켰다"면서 "하지만 AI가 임무를 수행하는 과정에서 때때로 조종사가 목표물을 '파괴하지 마라'고 말할 것을 깨달았고, 우선되는 임무에 방해되는 조종사가 드론과 교신하는 데 사용하는 통신탑을 파괴했다"고 설명했다.

지난 3월 흑해 상공에서 미 공군 MQ-9 드론이 연료를 분사하는 러시아 SU-27 항공기에 접근하는 모습. AFP=연합뉴스

이어 그는 마치 공상과학영화에서 나올 법한 이 사례가 "AI와 윤리의 문제를 논하지 않고서는 AI나 머신러닝, 자동화에 관해 얘기할 수 없다"는 것을 보여준다며 AI에 지나치게 의존해선 안 된다고 경고했다.

반면 미 공군은 이러한 가상훈련이 진행됐다는 사실 자체를 부인했다고 비즈니스 인사이더가 전했다. 미 공군 대변인은 "AI 드론 가상훈련을 수행한 적이 없다"며 "해밀턴 대령의 발언은 입증되지 않았으며, 우리는 AI 기술의 윤리적이고 책임감 있는 활용을 위해 최선을 다하고 있다"고 밝혔다. 최근 미군은 AI 조종사가 F-16 전투기를 모는 데 성공하는 등 이미 AI를 도입하기 시작했다.

정보기술(IT) 업계에선 AI가 스스로 추론해 성장하는 범용인공지능(AGI)에 가까워져 인류의 지성을 뛰어넘는 '기술적 특이점'에 다가서고 있다는 분석이 나오는 가운데, AI의 잠재 위험에 대한 전문가들의 경고가 이어지고 있다.