위노그라드 테스트

백우진 경제칼럼니스트·글쟁이㈜ 대표

Time flies like an arrow(시간 파리는 화살을 좋아해). 1980년대 컴퓨터 번역의 수준을 가늠하는 데 참고할 사례다. 과거 ‘통계 기반 자동번역’ 방식은 상용화하기에는 품질이 너무 낮았다.

이어 등장한 번역 방식이 인공지능(AI)을 적용한 ‘신경망 기반 자동번역’이다. 과거에 비하면 향상됐지만 이 자동번역도 넘지 못한 벽이 있다. 그중 하나가 ‘위노그라드 스키마 챌린지’다. 간단히 말하면, ‘문장 속의 대명사를 정확하게 옮기는가’이다. 다음 문장의 ‘they’는 시의원들이다.

[원문] The city councilmen refused the demonstrators a permit because they feared violence.

이를 필자가 2017년에 AI 번역기에 작업시킨 결과는 다음과 같다.

[구글] 시의회 의원들은 폭력을 두려워 시위자들에게 허가를 거부했다.

[네이버 파파고] 시의원들은 시위자들이 폭력을 두려워했기 때문에 허가를 거부했다.

돈의 세계

이 건에서는 구글이 조금 나았지만, 다른 문장은 네이버가 상대적으로 더 잘 옮겼다. 결론적으로 두 번역기 모두 위노그라드 테스트를 통과하지 못했다.

요즘 각광받는 ‘대규모 언어 모델(LLM)’ 기반 번역기들은 이를 쉽게 통과한다. 위 문장은 이렇게 옮긴다.

[딥L] 시의원들은 폭력을 우려해 시위대의 허가 신청을 거부했습니다.

그러나 LLM 번역기도 아직 취약한 대목이 있다. 수사법과 문맥 등이다. ‘In market we trust(우리는 시장을 믿는다).’를 ‘신뢰할 수 있는 시장에서.’라고 옮긴다. ‘Ma came to Tokyo to talk terms, and Son changed them.’은 ‘엄마는 도쿄에 와서 조건을 이야기했고, 아들은 조건을 변경했습니다.’라고 번역한다. 마윈과 손정의라는 문맥을 놓쳤다.

업무에 LLM 번역을 활용하는 기업이 늘고 있다. 번역기의 오류를 걸러내는 감수자의 역할이 더 중요해졌다.

백우진 경제칼럼니스트·글쟁이㈜ 대표