AI가 온라인상 성착취영상 찾아내 삭제 신고까지 '6분'이면 끝…서울시, 전국 최초 시작

서울시가 온라인상에 유포된 디지털 성범죄 영상의 신속한 삭제 지원을 위해 지난 2023년 전국 최초로 AI(인공지능) 기술을 도입, 24시간 모니터링을 가동 중인 데 이어서 이제 검출된 영상을 AI가 자동으로 삭제 신고까지 지원하는 ‘AI 자동 삭제신고 시스템’을 최초로 개발해 실행에 들어간다.

서울시는 디지털 성범죄 예방과 피해자 지원을 위해 ’23년도 3월 서울연구원과 협력, 전국 최초로 ‘디지털 성범죄 AI 삭제지원 기술’을 개발했으며 서울 디지털성범죄 안심지원센터(서울특별시여성가족재단 운영)에서 이를 활용해 24시간 불법 영상물 감시 및 삭제지원을 하고 있다.

서울시는 디지털성범죄 예방과 피해자 지원을 위해 2022년 3월 ‘서울 디지털성범죄 안심지원센터’를 개관했으며, 센터에서는 디지털 성범죄 피해자 법률‧심리‧삭제지원 등 전 과정을 원스톱으로 지원하고 있다.

이렇게 되면 사회관계망서비스(SNS)나 온라인 커뮤니티, 불법 사이트 등 온라인 상에 무분별하게 떠도는 불법 영상물을 찾아내서 해당 사이트에 삭제 신고를 하는 데까지 드는 시간이 기존 약 2시간 반~3시간에서 불과 ‘6분’으로 획기적으로 단축된다.

‘AI 자동 삭제신고 시스템’은 AI가 24시간 피해 영상물을 상시 검출한 뒤, 찾아낸 영상물을 자동으로 채증해 보고서를 만든 후 해당 사이트에 삭제 요청하는 이메일을 자동으로 생성한다. 이렇게 완성된 신고 이메일은 삭제지원관이 최종 확인해 발송하게 된다.

이번 시스템은 멀티모달 대형언어모델(Multimodal Large Language Model, MLLM)과 셀레니움 기반 웹 자동화 도구(Selenium-based Web Automation Tool) 등을 결합하여 디지털 성범죄물의 탐지부터 채증, 문서화, 이메일 생성에 이르는 전 과정을 자동화했다.

‘서울 디지털성범죄 안심지원센터’는 ｢전기통신사업법｣ 제22조의5에 따라 불법촬영물등에 대한 신고·삭제 기관으로 지정고시된 기관이다. 피해영상물이 게시된 해당 사이트에 센터가 삭제 신고할 경우 해당 사이트는 ｢전기통신사업법｣ 및 같은 법 시행령에 따라 삭제․접속차단을 해야 하며, 이행하지 않을 시 3년 이하의 징역 또는 1억 원 이하의 벌금, 매출액의 3% 이하에 해당하는 과징금, 등록취소 또는 사업정지 등 제재 처분될 수 있다.

기존에는 삭제지원관이 영상물마다 모두 수작업으로 피해 영상물을 채증하고, 보고서를 작성해야 했기 때문에 많은 시간이 소요됐으나, 이제 디지털 성범죄 영상물의 모니터링부터 검출, 삭제까지 전 과정을 ‘AI 자동화’ 함으로써 처리속도를 30배 개선하는 성과를 기대할 수 있게 됐다.

자동 채증 보고서 기능은 텍스트, 이미지, URL 등 콘텐츠에 포함된 핵심 정보를 자동 추출하고, 이를 한글(HWP) 문서로 변환해 저장함으로써 향후 수사기관 또는 사법 절차에 필요한 법적 증거자료로 즉시 활용할 수 있다.

<디지털 성범죄 AI 자동 삭제신고 시스템 결과 화면(예시)>

특히, 최근에 피해 영상물이 해외에 서버를 둔 사이트에 올라오는 사례가 증가함에 따라 AI가 해외에 유포된 피해 영상물을 검색 후 영어, 중국어, 일본어, 러시아어 등 7개 국어로 신고 이메일을 생성하게 된다.

시는 기존에 미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산되는 점에 착안해 국가 기반을 넓혀 검색 영역을 확장했다.

<2023년 전국 최초 AI 도입…이전 대비 검출속도 97.5% 단축, 삭제지원 건수 468% 증가>

한편, 서울시는 지난 2023년 ‘디지털 성범죄 AI 삭제지원 기술’을 전국 최초로 개발‧도입함으로써 디지털 성범죄 예방과 피해자 지원에 있어 패러다임의 전환을 이뤄냈다는 평가를 받고 있다.

이 기술이 도입되면서 비디오, 오디오, 텍스트 3종 종합분석을 통해 키워드 입력부터 영상물 검출까지 불과 3분 정도밖에 걸리지 않아 삭제지원관이 평균 2시간이 소요됐던 것에 비해 검출 속도가 97.5%가 단축되고, 정확도도 200% 이상 향상됐다.

또한 AI는 24시간 자동 모니터링이 가능하기 때문에 사람이 일하지 않는 새벽시간대에도 모니터링이 가능하고, 삭제지원관이 피해 영상물을 접하면서 발생할 수 있는 트라우마와 스트레스를 줄일 수 있는 장점이 있다.

이를 통해 서울 디지털 성범죄 안심지원센터의 삭제지원 건수도 AI 도입 전 2022년 2,509건에서 지난해 총 14,256건으로 무려 468%나 상승했다.

<‘서울 디지털 성범죄 안심지원센터’ 개관 3년간 총 3,650명 지원…아동‧청소년 피해자 비율 13배↑>

서울시는 ‘서울 디지털 성범죄 안심지원센터(이하 센터, 서울여성가족재단 운영)’를 통해 삭제지원을 비롯해 수사‧법률지원, 심리치료‧의료 지원 등을 원스톱 지원하고 있다. 지난 3년간(’22.3~’25.3) 3,650명의 피해자를 지원했고 총 지원 건수는 64,677건에 이른다.

센터에서 3년간 지원한 디지털 성범죄 피해지원 인원은 ’22년도 309명에서 ’24년도 2,820명으로 9배가 증가했으며, 이에 따른 피해 지원 건수는 ’22년도 6,245건에서 ’24년도 39,469건으로 6배가 증가했다.

상담원 1:1 밀착지원으로 상담(39.98%), 수사·법률지원(20.20%), 삭제지원(36.12%)이 이뤄졌으며, ’24년 심리상담 지원 건수는 15,781건으로 피해자들의 외상후 스트레스장애 증상 완화에 기여했다.

시가 지원한 피해자의 연령대는 10~20대가 가장 높은 비율을 차지하고 있으며, 특히 센터 개관 이후 아동, 청소년을 대상으로 한 디지털 성범죄 피해지원이 크게 증가하고 있다. ’22년도 아동, 청소년 피해자는 총 50명으로 전체 피해자의 16.2%를 차지했으나, ’24년도에는 총 624명(22.1%)으로 13배 이상 증가했다.

특히 아동‧청소년을 대상으로 한 온라인 그루밍(길들이기) 피해는 ’22년도 19건(3.3%)에 불과했으나, ’24년도에는 370건(10.6%)으로 3년간 무려 20배나 증가했다.

코로나19 팬데믹을 거치며 아이들은 온라인 공간에서 머무는 시간이 늘었고, 익명성이 보장되는 온라인은 아이들이 사회적 관계를 형성하고 성적 호기심을 표현하는 놀이 장소로 변질됐으며, 이런 점을 노린 ‘온라인 그루밍’ 계획범죄가 증가하고 있는 것으로 분석된다.

센터에서는 아동‧청소년의 경우 부모에게도 말하지 못하는 피해 상담을 제공하기 위해 익명으로 상담할 수 있는 카카오톡 오픈채팅방 ‘디지털성범죄 SOS 상담’ 창구를 통해 상담을 지원하고, 아동‧청소년 뿐 아니라 학부모를 대상으로도 심리치료를 무료로 지원하고 있다. 또한 수사, 법률, 의료, 삭제지원까지 원스톱으로 지원한다.

도움이 필요한 디지털 성범죄 피해자 누구나 센터 상담전용 직통번호 ‘815-0382(영상빨리)’나 누리집(www.8150382.or.kr)으로 문의하면 된다.

김선순 서울시 여성가족실장은 “우리 사회를 충격에 빠트린 n번방 사건부터 지난해 딥페이크 성범죄 사건까지 디지털 성범죄 기술은 갈수록 고도화되고 범죄 피해도 심각하다”라며 “서울시는 전국 최초로 AI를 통한 모니터링 기술을 도입한 데 이어서, 이제 AI가 자동으로 삭제 신고까지 하는 기술을 도입함으로써 검출부터 삭제 신고까지 걸리는 시간을 획기적으로 단축시킬 것으로 기대하고 있다. 앞으로도 디지털 성범죄로부터 아동·청소년이 안전한 서울을 만들기 위해 최선을 다하겠다.”라고 말했다.

AI 디지털성범죄 피해영상물 자동 삭제지원