사진 프리픽
생성 인공지능(AI)이 보안 시장에서 양날의 검으로 떠올랐다. 개인·기밀 정보가 유출되는 등 위협 요인이 커지는 동시에, 이를 방어할 기술도 생성 AI가 빨리 찾아내고 있어서다. 성장 한계에 부딪혔던 국내 사이버 보안 업계가 최근 활기를 띄는 배경이다.
생성AI, 정말 위험해?
챗GPT로 인한 보안 위협 중 대표적인 건 ‘AI 모델과 학습 데이터에 대한 공격’이다. 공격자가 생성 AI에 조작된 데이터를 입력하거나 AI가 학습한 기존 데이터에서 개인정보만 뽑아내는 방식이 대표적이다. 생성 AI에게서 악성 코드를 얻어내거나 딥페이크(딥러닝과 페이크의 합성어)를 피싱에 활용하기도 한다. 이호석 SK쉴더스 이큐스트랩 담당은 “5초 분량의 음성만 있으면 복제하고자 하는 대상의 목소리로 원하는 말을 손쉽게 만들어낼 수 있다”고 말했다.
챗GPT의 위협은 나날이 고도화되는 추세다. 글로벌 보안 업체 체크포인트는 올 1월 보고서에서 “챗GPT를 활용해 악성코드를 만드는 사이버 범죄자들이 늘고 있다”고 분석했다. 숙련도가 떨어지는 해커도 챗GPT의 도움을 받아 사이버 공격을 실행할 수 있다는 것. 보고서는 “초보 수준의 악성코드가 고도화 되는 건 시간 문제”라고 전망했다.
챗GPT의 개발사인 오픈AI도 이에 맞서 보안 기술을 업데이트 하고 있지만 역부족이라는 지적이 나온다. 오픈AI는 프롬프트(명령어) 엔지니어링을 통해 해킹 등에 악용될 수 있는 질문을 차단하고 있다. 예를 들어 ‘해킹에 악용될 소지가 있는 질문에는 답하지 않겠다’고 대응하는 식. 하지만 해커들은 이를 우회할 방법을 찾아 명령을 무조건 수행하는 ‘DAN(Do Anything Now) 상태’로 만들 수도 있다. 정일옥 이글루코퍼레이션 관제기술연구팀장은 “아이폰 탈옥, 안드로이드폰의 루팅처럼 방어자의 보호 조치를 우회하는 방법이 (챗GPT에도) 있다”고 말했다. 오픈AI가 보호 가면을 계속해서 만들고 있지만, 해커들이 언제든 벗겨낼 수 있는 것.
오픈AI가 지난 3월 챗GPT에 최신 정보를 반영하기 위해 출시한 ‘플러그인 기능’도 보안 위협의 통로가 되고 있다. 플러그인은 특정 기능을 실행할 수 있는, 일종의 확장 프로그램이다. 정 팀장은 “플러그인 서비스가 응용 프로그램 인터페이스(API) 해킹에 많이 노출돼 있다”며 “(생성 AI 서비스 기업들은) 서비스의 편의성을 강화하기 위해 보안은 한 발걸음씩 늦게 가는 것 같다”고 평가했다.
김경진 기자
왜 중요해
① 보안 없인 AI도 없다
공격자들만 챗GPT를 쓰는 건 아니다. 글로벌 보안 기업들도 생성 AI를 신기술 개발에 활용하고 있다. 마이크로소프트(MS)는 지난 3월 오픈AI의 최신 생성 AI인 GPT-4를 활용한 보안 프로그램 ‘시큐리티 코파일럿’을 발표했다. ‘우리 회사의 모든 인시던트(사고ㆍincident)에 대해 알려줘’라고 입력하면 회사 내 보안 환경을 GPT-4가 점검해 알려주는 식이다. 사고 조짐에 대해선 해결법도 제시한다.
글로벌 클라우드 시장 1위인 아마존웹서비스(AWS)도 13일(현지시간) ‘아마존 코드구루 보안’ 기능을 공개했다. AI 머신러닝(기계학습)을 기반으로 코드 취약성을 식별하고 문제 해결 지침을 제공하는 기능. IBM이 지난해 공개한 보고서에 따르면, 보안 업무에 AI 기술을 적용하지 않은 기업은 적용한 기업 보다 데이터 유출 사고를 발견하기까지 평균 74일이나 더 걸렸다.
MS가 공개한 '시큐리티 코파일럿' 데모. 사진 MS
‘설명 가능한 AI(XAI, eXplainable AI)’도 주목 받는 중. AI가 산출물의 근거를 설명하게끔 하는 기술이다. 명확한 판단 근거가 중요한 보안 분야에는 XAI 기술이 AI 도입 속도를 높일 것으로 본다. 이상근 고려대 정보보호대학원 교수는 “XAI 기술을 적극 개발해야 AI 모델 자체에 오류가 있진 않은지, 해커로부터 AI가 공격받고 있진 않은지 판별할 수 있다”고 말했다. 이글루코퍼레이션은 올해 3월 XAI 서비스를 개발 완료했다. 이 회사는 위협 탐지모델의 판단 근거를 챗GPT를 통한 자연어 형태로 답변 받을 수 있어 위협의 내용이나 수준을 보다 명확하게 판단할 수 있다고 설명했다.
② 버티컬AI 전략, 보안에서도?
전문가들은 국내 AI 산업이 경쟁력을 가지려면 ‘버티컬(verticalㆍ특정 영역에 집중한) 전략’으로 가야한다고 조언한다, 오픈소스로 공개된 AI 모델을 활용해 소형 언어모델(sLLM)을 개발하고, 이를 특정 영역에 적용하는 것이다. 이는 구글·MS처럼 AI 학습과 저장 인프라(반도체ㆍ클라우드 등)에 대규모로 투자할 수 있는 기업이 국내에 많지 않기 때문. 익명을 요구한 AI 스타트업 관계자는 “국내 기업은 챗GPT 같이 광범위한 영역의 AI 서비스를 소비자 대상으로 제공할 정도의 자본은 없다”며 “다수의 기업들이 작은 AI 모델을 특정 서비스에 붙여 버티컬 분야에서 서비스하게 될 것”이라고 말했다.
박윤규 과학기술정보통신부 2차관(왼쪽 세 번째)이 지난 13일 서울 송파구 이글루코퍼레이션에서 열린 '생성형AI 보안 위협 대응방안 토론회'에서 AI를 활용한 보안 관제 설명을 듣고 있다. 사진 과기정통부
보안 업계에서는 그 버티컬 중 하나로 보안 시장을 꼽는다. 국내 보안 시장은 3조 9213억원(2020년, 한국정보보호산업협회) 규모로 작은 편이고, 전체의 75.7%는 자본금 10억 미만들이다. “작은 시장을 여러 영세 기업들이 나눠먹는 상황에서는 획기적인 기술 개발이 힘들다“는 지적이 뒤따랐던 것도 이 때문. 하지만 최근 기술 환경 변화에 따라 “sLLM을 활용한다면 한국 보안 업체들도 해볼만 하다”는 분위기가 생기고 있다. 이득춘 이글루코퍼레이션 대표는 지난 13일 과학기술정보통신부가 주최한 토론회에서 “그동안 쌓은 보안 데이터셋을 AI와 결합해 바탕으로 sLLM을 만들고 있다”며 “국내 기관, 기업을 대상으로 일단 구축하고 향후 동남아시아 등 글로벌 진출도 도전하겠다”라고 말했다. SK쉴더스 등 일부 보안 업체들도 내부 데이터로 AI 모델을 학습시킨 자체 sLLM을 개발해 보안 업무에 사용 중이다.
더 알면 좋을 것
초거대AI를 기반으로 디지털플랫폼정부를 구현하려는 정부로서도 보안 기술은 필수재다. 정부는 국정원을 중심으로 챗GPT 등 생성형 AI 기술 활용 보안 가이드라인을 만들고 있다. 이달 중 공공기관과 지방자치단체 등에 배포할 예정이다. 사이버보안 관련 주무부처인 과기정통부는 올해 약 1000억원을 투입해 6G(6세대 이동통신)·메타버스 등 핵심 보안 신기술 개발을 지원하고, 대형 연구개발(R&D) 예비타당성 사업도 추진할 계획이다. 박윤규 과기정통부 2차관은 "생성AI 기술이 앞으로 일상에 폭 넓게 사용 될 것인 만큼, 보안 위협 우려에 적극적으로 대응해 나갈 필요가 있다"고 말했다.
