“딥페이크 꼼짝마”… IT업계, 탐지부터 신고·삭제까지 ‘척척’

챗GPT4o를 통해 생성한 ‘딥페이크 범죄 경고’. (편집=나유진 기자)

# 최근 인천의 한 고등학교에서 발생한 딥페이크 합성물 공유 사건으로 학부모들의 불안이 고조되고 있다. 두 자녀를 둔 신모씨는 이 사건을 계기로 자신의 스마트폰 프로필에서 자녀 사진을 삭제하기 시작했다. 또한 중학생 자녀에게도 SNS에 개인 사진을 올리지 말 것을 당부했다.

미성년자 지인을 대상으로 한 딥페이크 음란물 범죄가 사회적 파문을 일으키고 있는 가운데, IT 기업들이 각종 대응책을 마련하고 있다. 하지만 탐지나 삭제만으로는 한계가 있어 보다 근본적인 대책 마련이 필요하다는 지적이 잇따르고 있다.

29일 관련 업계에 따르면 딥페이크 범죄물의 심각성이 대두되면서 기업들의 합성물 예방·탐지 솔루션이 주목을 받고 있다. 경찰청은 딥페이크 악용 범죄가 지난해 180건에서 올해 상반기에만 297건으로 급증했다고 발표했다.

관련 기업별로는 딥브레인AI가 한 달간 자사 ‘딥페이크 탐지 솔루션’을 교육기관·기업·관공서에 무료 지원한다. 이 솔루션은 영상을 업로드하면 5~10분 이내 진위여부는 물론 변조율과 합성유형을 제공한다. 기존 학습 데이터 520만 건에 추가로 200만 건의 데이터를 학습해 기능을 고도화시켰다.

사전 예방 차원에서 얼굴을 자동으로 흐리게 만드는 서비스도 주목받고 있다. 자라소프트가 지난달 출시한 인공지능(AI) 기반 사진·영상 모자이크 서비스 ‘블러미’다. 수백 명이 동시에 움직이는 영상에서도 사람의 얼굴만 인식해 몇 초 만에 ‘블러’ 처리한다. 현재 고객 상당수는 어린이·청소년 교육기관으로 학부모들의 우려를 반영해 블러미를 적극 활용하고 있다.

국내 플랫폼 업계도 딥페이크 문제 해결에 동참하고 있다. 네이버는 전날 방송통신심의위원회가 방심위 전용 신고 배너 설치를 요청하자 즉각 협조에 나섰다. 딥페이크 이미지·영상 탐지 신고 채널을 개설하고 고객센터를 통해 이를 안내했다. 또 AI 기술 기반 음란물 필터링 시스템 ‘그린아이’를 업데이트한 ‘그린아이2.0’도 적극 운영하고 있다. 그린아이는 자사 서비스 내 이미지·영상에 대해 실시간 음란성 지수를 산출, 자사 정책에 근거해 삭제한다. 음란물 판별 정확도는 업데이트 후 98.1%에서 99.5%로 상승했다.

카카오는 카카오톡 오픈채팅, 다음, 카카오 내 공개 게시판 서비스 등에서 딥페이크 범죄물 유통을 모니터링하고 있다. 적발 시 카카오톡 전체 서비스 이용을 영구 제한한다. 아울러 방심위 요청에 따라 딥페이크 신고 배너 설치 관련 방식을 논의 중이다.

이같은 기업의 대응책에도 정부 차원의 강력한 조치가 필요하다는 지적이 나온다. 업계 관계자는 “딥페이크 이슈가 되는 기업들은 해외 사업자가 많은데, 관련 규정에서 피해 갈 수 있는 여지가 많다”며 “최근 방심위에서 발표한 국내 협의체에도 텔레그램은 포함되지 않아 실효성이 없다”고 강조했다.

이날 정부와 국민의힘은 우선 텔레그램과 불법정보 자율규제를 위한 핫라인을 확보하는 방안부터 추진키로 했다.

나유진 기자 yujin@viva100.com