네이버 뉴스의 인명사고∙대형참사 악플을 감지하고 필터링하는 악플 차단 AI, 클린봇
네이버 뉴스의 인명사고∙대형참사 악플을 감지하고 필터링하는 악플 차단 AI, 클린봇
네이버 뉴스 댓글을 보다 보면 ‘클린봇이 이용자 보호를 위해 숨긴 댓글입니다.’ 라는 문구를 종종 볼 수 있습니다. 악성 댓글을 감지하는 ‘클린봇 시스템’이 작동했기 때문입니다. 이처럼 사용자가 뉴스 댓글을 통해 안전하고 건강한 환경에서 의미 있는 소통을 나눌 수 있도록 돕는 네이버의 기술과 노력을 소개합니다.
사용자의 안전한 환경을 위해, 업계 최초 AI 악성 댓글 탐지 기술 적용
2019년 4월, 네이버는 사용자가 안전한 환경에서 댓글로 의견을 나눌 수 있도록 보호하기 위해 업계 최초로 AI를 활용해 네이버 뉴스에 등록된 악성 댓글을 찾아 자동으로 숨김 처리를 하는 ‘클린봇’을 선보였습니다. 이후 스포츠, 웹툰, 카페, 오픈톡, 치지직, 클립 등 다양한 서비스에 클린봇을 확대 적용하여 사용자에게 불쾌감이나 혐오감을 줄 수 있는 비속어, 욕설, 비하 표현 등을 탐지하고 있습니다.
비속어가 없어도 속뜻을 파악하고 필터링하는 클린봇
초기 클린봇은 욕설과 비속어를 중심으로 악성 댓글을 탐지했습니다. 이후 방대한 양의 악성 댓글 데이터를 기반으로 축약어와 구어체 댓글을 더욱 정밀하게 분석하고, 여기에 사용자의 댓글 스타일을 학습하는 ‘페르소나 임베딩(Persona Embedding)’ 기술을 접목하여 문장의 맥락에 따라 악플을 예측하고 탐지하는 성능을 꾸준히 강화해왔습니다.
그 결과, 업그레이드된 클린봇은 문장 전체의 맥락을 고려해 비속어와 욕설이 직접적으로 포함되어 있지 않아도 타인에게 상처를 줄 수 있는 모욕적인 표현과 선정적, 차별적, 폭력적, 비하적인 내용을 탐지하여 필터링하고 있습니다.
클린봇 모델의 지속적인 고도화는 단순한 악성댓글 차단을 넘어, 건강한 디지털 소통 문화를 구축하는 핵심 기술입니다. AI 기반 정밀 분석을 통해 사용자 경험을 보호하고, 안전하면서도 소통이 활발한 온라인 커뮤니티를 만들어가는 든든한 기반이 되고자 합니다.
공통댓글팀 리더, 이규호님
데이터로 악성 댓글 등록을 미리 감지하는 클린봇옵저버
2023년 7월에는 클린봇을 기반으로 악플 작성 시도의 비율을 계산하여 악플 감지 대상 기사를 자동으로 선별하고 해당 기사를 언론사에 알려주는 클린봇옵저버 베타 서비스를 오픈했습니다. 이를 통해 언론사는 댓글 서비스의 중단이 필요한 기사를 빠르게 확인하고 악플이 작성되기 전 댓글 제공을 중단할 수 있습니다.
올해 2월, 대형 참사를 포함한 인명사고 기사 감지를 강화하는 방향으로 클린봇옵저버를 개선하였습니다. 더불어 자살보도의 댓글과 추천 스티커 기능을 자동으로 제외해왔던 방식과 유사하게 ‘자살 예방 보도 준칙’과 같은 참사 보도 관련 문구를 마련해, 해당 문구가 삽입된 참사 보도의 댓글 역시 자동으로 제외하는 방법을 준비하고 있습니다. 이런 노력을 통해 악성 댓글을 근절하고 서로를 존중하는 건전한 댓글 소통 문화를 만들어가고자 합니다.
클린봇옵저버는 악성 댓글로 인한 2차 피해를 방지하고, 보다 안전한 온라인 환경을 조성하기 위해 도입되었습니다. 대형 참사나 인명 사고뿐 아니라, 악성 댓글로 인한 또 다른 피해를 방지하기 위해 기사 범위를 확대하고 감지 기술을 더욱 정교하게 발전시켜 나갈 예정입니다.
뉴스도구기획팀 리더, 임상희님
클린봇 도입 후 악플 생성 및 노출 비율 변화
클린봇과 클린봇옵저버의 적용으로 네이버 서비스에서 악플이 생성되고 노출되는 비율은 꾸준히 줄어들고 있습니다. 앞으로도 네이버는 책임감을 갖고 사용자의 소통을 돕는 AI 기술과 서비스를 지속적으로 업데이트하여 안심하고 의견을 주고받을 수 있는 건강한 인터넷 환경을 조성할 수 있도록 노력하겠습니다 ●
► 건강한 인터넷 문화 조성을 위한 네이버의 노력, 그린인터넷에서 자세히 살펴보기 (링크)
