 |
| 오픈AI의 대화형 AI ‘챗GPT’. (이미지=UNSPLASH) |
사이버 공격이 갈수록 기승을 부리는 가운데, 최근 많은 관심을 받고 있는 ‘생성형 AI’도 사이버 공격에 활용될 것이란 우려가 나오고 있다. 업계에서는 고품질 콘텐츠를 대량 생성하는 생성형 AI로 인해 정보 조작의 위험은 갈수록 커지고 있어 대책 마련이 시급하다는 지적을 내놓고 있다.
23일 구글 계열 사이버 보안 기업 맨디언트가 최근 발행한 보고서에 따르면 사이버 공격자들은 정보 작전을 수행하는 사이버 공격자들이 AI를 활용해 만든 이미지나 동영상 등의 콘텐츠 사용량을 급격하게 늘리고 있다.
맨디언트는 생성형 AI가 정보 작전을 펼치는 사이버 공격자의 능력을 한 차원 더 끌어올릴 것으로 봤다. 생성형 AI는 특정 내러티브에 맞춰 기사나 정치 만화 등의 콘텐츠를 생성하거나 가짜 페르소나 관련 영상, 이미지, 텍스트 등을 만들 수 있다. 대형 언어모델(LLM)을 기반으로 한 대화형 AI 챗봇을 활용하면 정교한 가짜뉴스 등을 만들어 타 언어 이용자에까지 영향을 미치는 것이 가능하다.
맨디언트는 2019년 이후 러시아, 중국, 이란 등 특정 국가와 연계된 사이버 공격자들과 미국의 이미지 게시판 웹 사이트 ‘4chan’ 포럼에서 활동하는 이들이 가짜 프로필 사진을 만들고자 적대적 생성 신경망(GAN)을 사용한 사례를 확인했다. GAN 기반 이미지 도구는 공개적으로 사용이 가능해 정보 작전에 자주 활용된다는 것이 맨디언트 측의 설명이다.
이미 AI로 동영상을 생성 및 조작한 사례가 흔하다. 친중국 온라인 캠페인 조직 드래곤브릿지는 지난 5월 영국의 AI 비디오 기업 신디시아의 동영상 생성 서비스를 이용해 뉴스 보도 비디오 템플릿 ‘뉴스 프리젠터’를 만들었다. 지난해 3월에는 러시아의 우크라이나 침공 후 블로디미르 젤렌스키 우크라이나 대통령의 딥페이크 동영상이 제작돼 우크라이나가 러시아에 항복했다는 조작된 메시지가 퍼지기도 했다.
 |
| 지난해 3월 젤렌스키 우크라이나 대통령이 러시아에 항복한다고 발표하는 딥페이크 동영상. (이미지제공=맨디언트) |
텍스트-이미지 변환 모델은 아직 널리 활용되지 않지 않고 있지만, 기술 발전에 따라 사용 빈도가 늘어날 전망이다. 텍스트-이미지 변환 모델로 만든 콘텐츠는 수작업 방식의 탐지와 AI 기반 탐지 모델 모두에서 위협 식별이 어려울 수 있어 GAN보다 더 심각한 위협적이란 평가다.
현재까지 사이버 공격자들이 비즈니스 이메일 침해(BEC) 사기에 조작된 동영상과 음성 콘텐츠를 사용한 사례와 북한 스파이가 KYC(고객신원인증) 요건을 무력화한 사례, 이스라엘 군인을 대상으로 음성변경 기술을 활용한 사례가 확인됐다. 지난 3월에는 캐나다의 한 부부가 AI로 생성한 아들로 위장한 전화를 받은 후 2만 1000달러(한화 약 2808만원) 사기를 당한 사건도 발생했다.
이와 함께 맨디언트는 사이버 공격자들이 맬웨어 개발에 LLM 사용을 늘려갈 것으로 봤다. 맬웨어는 컴퓨터, 서버, 클라이언트, 컴퓨터 네트워크에 악영향을 끼치는 악성 소프트웨어로, 이미 맬웨어 개발 및 전파에 사용하는 서비스를 언더그라운드 포럼에서 광고하고 있다.
맨디언트 관계자는 “기술에 대한 사이버 공격자들의 이해와 능력이 높아지면서 다양한 배경과 목표를 가진 공격자들이 생성형 AI 활용을 늘려갈 것”이라며 “일반 대중이 진짜와 가짜를 구별하지 못하는 것을 노린 공격은 계속될 것이다. 사용자와 기업 모두 생성형 AI로 수집된 정보에 대한 주의가 필요하다”고 당부했다.
박준영 기자 pjy60@viva100.com
