오류 없는 AI 개발, ‘자유론’에 답 있다

이수화 한림대학교 AI융합연구원 연구교수

2024년 1월 5일 알래스카항공 1282편 보잉 737 맥스9 여객기가 비행 중 측벽이 떨어져 나갔다. 2018년과 2019년에는 맥스 기종과 관련된 추락 사고가 났다.

맥스는 베스트셀러 여객기인 737시리즈의 최신형이다. 덩치가 커진 신형 고효율 엔진이 의도치 않은 양력을 발생시켜 극단적인 기수 상승에 의한 실속(失速)을 초래할 가능성이 있었다. 이에 대비해 ‘조종 특성 향상 시스템(MCAS)’이 추가됐다. 그러나 정상 운항 중인데도, 센서 고장으로 ‘급격 상승 중’이라고 잘못 판단한 MCAS는 계속 강제로 기수를 낮췄고 비행기는 추락했다.

마켓 나우

조종사들이 시뮬레이터로 받는 집중 훈련은 거의 발생하지 않는 비정상적 상황에 대처하기, 그리고 처리 단계마다 오류 가능성을 곱씹기다. 반면 인공지능(AI)은 애초에 발생한 적이 없어 학습할 수 없었던 ‘검은 백조’ 상황에 매우 취약하다. ‘센서 오류가 있을 수 있다. 입력값이 틀릴 수도 있다’고 AI가 의심하지 않으면 사고는 필연이다.

AI 분야 석학인 UC버클리 스튜어트 러셀 교수는 ‘인간이 AI에게 목표를 직접 설정해주는 방식’으로 AI를 개발하면, AI를 통제할 수 없는 위험성이 생길 수 있다고 지난 1일 ‘AI SEOUL 2024’ 콘퍼런스에서 지적했다.

검은 백조 상황에 대한 러셀 교수의 대안은 단어 ‘스스로’에 있다. 그는 인간이 선호하는 목표를 AI ‘스스로’ 학습하면 인간을 도울 수 있는 AI가 만들어진다고 주장한다. AI도 사람처럼, 각 단계의 추론을 ‘스스로’ 의심해보고 그 종합이 궁극적 목적에 부합하는지 ‘스스로’ 따져보도록 AI를 개발해야 한다는 것이다.

AI의 궁극적인 쓸모는 AI가 스스로 ‘판단과 의사결정(judgment and decision making)’을 내리는 데서 나온다. AI가 스스로 이해해야 할 책으로 존 스튜어트 밀(1806~1873)의 『자유론』(1859)이 있다. ‘무오류의 전제를 경계하라’는 가르침을 AI도 깨닫게 하기 위해서다. ‘나는 맞으니까 옳다’가 무오류의 전제다. 밀은 내가 맞는다는 전제는 어디에도 없으니 항상 반대 의견에 감사하고, 항상 반대를 용인해야 한다고 주장했다. 내 주장이 틀릴 수 있다는 가능성을 열어두고 상대방 주장을 경청해야 참사를 낳을 수 있는 결정적인 오류를 제거할 수 있다.

AI는 인간의 문화를 학습하며 놀랍도록 닮아가고 있다. TV 정치토론에 토론자가 필요할까? 카세트플레이어를 번갈아 틀면 될 것 같다. 내용은 뻔하다. ‘나는 맞으니까 옳다’의 무한반복이다. ‘스스로 의심하기’ ‘반증 가능성 고려하기’는 사람에게도 AI에게도 꼭 필요하다. 반대를 용인하지 않은 결과는 참혹한 추락이기 때문이다.

이수화 한림대학교 AI융합연구원 연구교수