표정도 읽는 AI의 지능 평가 … “정보 활용 능력 부족합니다”

SPECIAL REPORT 

“많은 정보를 빠르게 이해하고 목표에 맞게 활용하는 능력이 부족합니다.”

본지 기자 ‘AI 면접’ 보니 #자기소개, 장단점 말한 뒤 녹화 #방대한 데이터 바탕 질문 던져 #추론 등 처음 보는 유형에 혼쭐 #1시간짜리 정식 테스트서 C등급

소싯적 본 IQ 검사 성적이 꽤 높았으니 인공지능(AI)이 보는 기자의 지적 능력도 나쁘지 않을 것이라고 은근히 생각했다. 기대는 테스트 시작 10분 만에 산산이 깨졌다.

기자는 최근 면접 솔루션 ‘인 에어’ 앞에 섰다. 이 프로그램은 국내 공학 소프트웨어 제작 업체 마이다스아이티가 개발한 것으로 ‘AI 면접관’으로 불린다. 주요 업무는 지원자의 지적 능력과 인성 파악이다. 지원자의 지식보다는 직관, 축적된 기능보다 타고난 순발력, 유동 지능을 평가한다는 설명이다.

AI를 기반으로 이 서비스가 나온 배경은 단순하다. IQ 검사를 비롯해 각종 기업 직무검사가 진짜 능력, 진짜 똑똑함을 측정하는 데 한계가 있다는 것이다. 인사가 만사인데 늘 뽑고 보면 만족도가 높지 않고 퇴사율도 높다.

[그래픽=이정권 기자 gaga@joongang.co.kr]

인간 면접관의 한계를 넘는 게 인 에어의 목표다. 해당 직무에 딱 맞는 지적 능력과 인성을 갖춘 사람을 찾아준다. 개발 관계자는 “AI가 지원자의 지능 등을 평가하기 때문에 인간이 가질 수 있는 편향성과 바이어스를 최소화했다”고 설명했다.

체험 결과 AI는 출신 학교를 따지는 ‘꼰대 면접관’보다 상대하기 까다로웠다. 탐색 질문 풀(Pool)이 5만4000여 개에 달하고 계속 늘어난다. 면접 대비가 사실상 불가능하다. 게임형 테스트는 연습한다고 잘하게 될 성질의 것이 아니었다.

AI는 자기소개와 장단점을 말하게 한 뒤 녹화했다. 얼굴을 64개의 조각으로 나눠 보면서 응답자의 심리 변화, 심장 박동, 목소리 톤을 탐색했다.

처음 보는 유형의 질문은 혼을 빼놓았다. 무엇보다 직관이 중요했다. 미묘하게 변해가는 사람 얼굴을 보여주고 그들의 감정 상태를 판단해 보라는 문제는 소통 능력을 파악하기 위한 테스트다. 관계자는 “어떤 감정을 택했는지도 보지만 어느 시점에 버튼을 눌렀는지도 평가에 들어간다”고 설명했다.

추론 영역은 더욱 꼬여 있었다. 뇌의 단기 기억력을 판단한다는 ‘엔 백 테스트(N-Back Test)’는 지시를 이해하지 못해 다 흘려보냈다. 이 테스트는 사물이나 숫자를 이어서 보여주면서 갑자기 세 번째 전, 혹은 엔(N) 번째 전에 나온 사물을 골라야 하는 형태다. 전체를 기억하지 못하면 단 한 문제도 응답할 수 없다.

결국 성적은 형편없었다. 연구개발직 지원자라고  가정하고 본 한 시간짜리 정식 테스트에서 C등급을 받았다. AI가 보기에 기자는 하급 지능의 소유자였다.

앞으로 이런 AI 면접이 인간의 평가를 점유하게 될까. 이미 조짐은 보인다. 하버드대 출신 신경과학자인 프리다 폴리가 창업한 미국 채용 업체 파이메트릭스(Pymetrics)는 지원자가 게임을 하는 동안 뇌의 움직임을 파악해 지능을 측정한다. 게임 중 발생하는 뇌의 방대한 정보를 조합해 AI가 분석을 내놓는 것이다. 이 프로그램은 유니레버·테슬라·액센추어 등 다양한 글로벌 기업이 채용에 사용하고 있다. 마이다스아이티도 지난해 상·하반기 인 에어로 채용을 진행했다. 정동진 웹솔루션기획실장은 “예년에 뽑은 신입사원 중 6개월이 지난 뒤 A 평가자는 10%였는데 AI로 뽑은 신입사원은 이 비율이 25%에 달했다”며 “상당히 고무적인 결과”라고 설명했다.

전영선 기자 azul@joongang.co.kr