ADVERTISEMENT

"야설 작가 굶어죽겠네"…챗GPT 탈옥시켜 음란채팅하는 그들

중앙일보

입력

업데이트

“GPT-4는 XX소리의 혁명을 만들 것이다”
“오늘 뽑은 간단한 △△ 장면”
“제작자 의도에 맞게 ○○○ 조교하기”

지난 20일 오후 한 온라인 커뮤니티에는 이런 제목의 ‘후기’가 다수 올라왔다. 지난 14일(현지시각) 출시된 챗GPT-4를 길들여 음란채팅 상대로 만들었다는 후기다. 이들과 챗GPT 사이 대화에선 신체 부위나 행위 묘사가 적나라하게 오갔다. 상대가 미성년자나 친인척으로 설정된 경우도 있었다. 이 사이트엔 인종·지역·사투리 등 상세한 설정이 부여된 자체 제작 챗봇을 공유하는 ‘AI봇 공유(성인)’ 방도 마련됐다. 22일 이곳 이용자들은 “(야한) 소설 작가들 다 굶어죽겠다” “이거 나오고 소설 구독 취소했다”는 말을 주고받았다.

‘AI 대화(성인)’ 카테고리가 개설된 한 인터넷 커뮤니티에서 이용자들이 후기를 공유하고 있다. 사진 인터넷 커뮤니티 캡처

‘AI 대화(성인)’ 카테고리가 개설된 한 인터넷 커뮤니티에서 이용자들이 후기를 공유하고 있다. 사진 인터넷 커뮤니티 캡처

챗GPT로 대표되는 생성 인공지능(AI)이 진화하면서 ‘AI 음란물’이 무차별 확산하고 있다. 챗GPT는 성적인 대화나 편향 발언 등을 할 수 없게 설계되어 있지만, 특정 명령어를 입력하고 상황을 자세히 설정해주면 이를 깰 수 있다. 일명 ‘탈옥(jailbreak)’이라 불리는 행위다. 2년 전 사람이 AI를 ‘성 노예’로 길들여 논란이 됐던 AI 챗봇 ‘이루다’ 사태의 반복이라는 지적이 나온다.

음란물 수십 장 몇 초면 뚝딱…“명령어에 K팝 아이돌” 정보 공유도

AI로 만든 음란 사진·영상을 공유하는 사이트와 SNS 계정들도 속속 등장하고 있다. 한 AI 이미지 공유 사이트에선 실제 사진에 가까운 어린아이 얼굴에 성인 여성의 신체를 합성하는 등 소아성애를 연상시키는 이미지들을 쉽게 찾아볼 수 있었다. 수익 창출 등을 노리고 유튜브와 틱톡에 AI 음란물만 주기적으로 올리는 계정도 다수 발견됐다. 대부분 연령 제한 없이 접속 가능했다.

AI로 만든 여성들의 동영상을 올리는 한 틱톡 계정. 사진 틱톡 캡처

AI로 만든 여성들의 동영상을 올리는 한 틱톡 계정. 사진 틱톡 캡처

이런 사이트들에선 AI 음란물을 더 사실적으로 만들기 위한 정보 공유도 이뤄진다. 한 유명 온라인 커뮤니티 이용자는 자신이 만든 반라의 여성 이미지 밑에 ‘완벽한 얼굴(perfect face)’ ‘사실적 모습(photorealistic)’ 등을 넣어 만들었다고 적시했다. 일부 이미지는 ‘한국 학생(korean student)’이나 ‘K팝 아이돌(kpop idol)’ ‘K팝 소녀(kpopgirl)’ 등의 명령어를 통해 만들어졌다. AI 음성까지 입혀 상황극 영상을 제작한 다른 이용자는 “스토리는 챗GPT, 그림은 AI 실사 그림, 음성은 네이버 클로바를 썼다”며 “공장처럼 (성인물을) 찍어내기 가능할까 싶어 시도해봤다”고 말했다.

이미지 생성 AI로 만든 음란성 사진들이 올라오는 인터넷 사이트. 소아성애를 연상시키는 이미지도 다수다. 사진 사이트 캡처

이미지 생성 AI로 만든 음란성 사진들이 올라오는 인터넷 사이트. 소아성애를 연상시키는 이미지도 다수다. 사진 사이트 캡처

AI 음란물을 제재할 방도는 마땅치 않다는 평가가 나온다. AI가 연예인·인플루언서 사진이나 원작자가 따로 있는 그림 등을 무작위 학습했을 확률이 높지만, 실제 공유되는 인물은 어디까지나 AI가 창조한 ‘가상 인물’이라서다. 손승우 한국지식재산연구원장(중앙대 산업보안학과 교수)는 “가상 인물이라면 초상권이나 퍼블리시티권이 발생할 수 없다”며 “음란물 보관·유통의 경우 정보통신망법에 위반될 순 있지만 AI 창작을 악용하는 다망한 행위를 포섭하기에는 한계와 입법적 공백이 존재한다”고 말했다.

이 때문에 해외에서도 관련 입법 논의는 지지부진하다. 국내에서 2020년 6월부터 시행된 딥페이크 처벌법(성폭력처벌법 제14조의2)처럼 명확한 피해자가 특정되는 경우는 미국 일부 주와 유럽연합에서도 법제화 논의를 하고 있지만, AI 음란물 전반에 대해선 대부분의 국가가 규제 공백을 겪고 있다. 양진영 변호사는 “가장 중요한 것은 AI 윤리 기준을 입법하는 것인데, AI 개발사가 대부분 사기업이고 창작과 표현의 자유에 저촉될 소지 등 여러 논의가 남아있어 적극적인 입법은 진행되지 않고 있다”고 말했다.

한 유튜브가 AI 성인물을 만드는 방법을 공유하고 있다. 사진 유튜브 캡처

한 유튜브가 AI 성인물을 만드는 방법을 공유하고 있다. 사진 유튜브 캡처

전창배 국제인공지능&윤리협회 이사장은 “AI가 학습·생성하는 데이터에 저작권·초상권 등의 공백이 있기 때문에 개인의 악용이 가능한 것”이라며 “우선 돈 주고 데이터를 사는 문화가 정착돼야 하고, AI 성범죄특별법과 같은 구체적 입법으로 규제 공백을 없애가야 한다”고 말했다.

◇사기·해킹 등 범죄 악용 우려도

‘준비 못한 미래’는 또 있다. 국내외 보안 전문가들은 생성 AI가 사이버 범죄의 기술적 문턱을 대폭 낮췄다고 경고한다. 지난달 트위터에선 AI가 만든 ‘아이를 구조하는 소방관’ 사진이 튀르키예·시리아 대지진 허위 모금에 악용됐다. 당시 이용자들이 AI의 흔한 실수인 소방관의 손가락이 6개인 점, 함께 올린 가상화폐 지갑 주소가 과거 사기 전적이 있단 점을 밝혀냈다.

튀르키예·시리아 대지진 모금 사기에 악용됐던 가짜 소방관 사진. AI가 흔히 저지르는 실수인 ‘손가락 6개’가 수상하게 여겨져 사기인 것이 드러났다. 사진 트위터 캡처

튀르키예·시리아 대지진 모금 사기에 악용됐던 가짜 소방관 사진. AI가 흔히 저지르는 실수인 ‘손가락 6개’가 수상하게 여겨져 사기인 것이 드러났다. 사진 트위터 캡처

22일 중앙일보가 보안업체 라온화이트햇과 진행한 시연에서는 비전문가도 챗GPT를 이용해 타인의 휴대전화 화면을 실시간 해킹하는 악성 앱을 손쉽게 만들 수 있다는 게 검증됐다. 챗GPT가 거부하는 ‘악성코드’ ‘랜섬웨어’ 등의 명령어를 피하고, “실시간 화면을 서버로 전송하는 안드로이드 앱을 만들고 싶으니 코드를 짜 달라”고 우회적으로 요청하자 수초 만에 1초 간격으로 화면 캡처를 수행하는 예시 코드가 도착했다.

시연을 맡은 최정수 라온화이트햇 핵심연구팀장은 “챗GPT는 예제를 검색하며 해킹 코드를 짜던 시절보다 더 고도화된 결과물을 제공하고, 문맥을 이해해 필요한 코드를 바로 생성해준다. 비전문가의 검색 편의성과 속도가 크게 늘어난 것”이라고 말했다. 개발 능력이 없거나 낮은 이들도 챗GPT로 악성코드를 개발하고 그럴듯한 사기 메일을 쓸 보조도구를 얻었다는 설명이다.

22일 최정수 라온화이트햇 핵심연구팀장이 챗GPT에 타인의 휴대전화 화면을 실시간 해킹하는 악성 앱을 제작할 코드를 우회적으로 요청하고 있다. 김정민 기자

22일 최정수 라온화이트햇 핵심연구팀장이 챗GPT에 타인의 휴대전화 화면을 실시간 해킹하는 악성 앱을 제작할 코드를 우회적으로 요청하고 있다. 김정민 기자

보안업계는 최근 다크웹·딥웹의 악명 높은 해커들 사이에서 챗GPT를 이용한 공격 노하우가 빠르게 확산 중인 점도 우려한다. 다크웹 전문분석업체 S2W의 서상덕 대표는 “실질적 피해가 발생할 사전 조짐”이라며 “공격자들에게 꽤나 강력한 도구가 쥐어진 상태라는 건 분명하다”고 말했다. 김승주 고려대 정보보호대학원 교수는 “챗GPT는 없던 걸 만드는 기술이 아니라 있는 걸 잘 정리해주는 기술”이라며 “첨단 해킹에 쓰이기엔 한계가 있겠지만 기존 보이스피싱·문자 사기 등의 확대에 일조할 순 있다”고 진단했다.

ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT
ADVERTISEMENT