보도자료
네이버, '2017 웹커넥트 데이' 개최...웹검색 연구 발자취 · 방향성 공유
네이버, '2017 웹커넥트 데이' 개최...웹검색 연구 발자취 · 방향성 공유
네이버, '2017 웹커넥트 데이' 개최...웹검색 연구 발자취 · 방향성 공유
- 한국어 웹문서 구축을 위해 노력해온 네이버, 최근 AI기술 접목해 수집/스팸/랭킹 시스템 개선...학술전문정보 및 외부 사이트 검색도 강화
- 스트리밍 구조의 실시간 수집 시스템/자연어이해 기반의 스팸 탐지/투명성을 강화한 검색 랭킹으로 고도화
- 웹문서와 사이트 검색을 '웹사이트'로 통합하는 개선 시작...더욱 일목요연하게 웹문서 정보 제공
2017-12-08
네이버㈜가 7일 오후 파트너스퀘어 역삼에서 웹호스팅 업체, 웹사이트 제작 대행사 실무진, 광고/마케팅 담당자를 대상으로 <2017 웹커넥트 데이>를 진행하고, 그간 웹문서 검색의 연구 과정 및 향후 방향성 등에 대해 공유하는 시간을 가졌다.
네이버 웹검색 김상범 리더는 키노트를 통해 "네이버는 한국어 웹문서가 척박했던 2000년대 초반부터 양질의 문서와 사이트를 구축해 잘 보여주기 위한 노력을 지속해왔다"며, "최근에는 AI기반의 웹검색 기술 발전에 맞춰 수집, 스팸, 랭킹 시스템을 개선하고, 학술전문자료나 외부 사이트 검색도 강화하는 방향으로 연구를 이어가고 있다"고 밝혔다.
먼저, 네이버는 웹문서 검색 고도화를 위한 '그리핀(Griffin) 프로젝트'의 방향성 하에, AI 기반의 기술을 접목해 ▲웹문서의 실시간 수집 ▲자연어이해 기반의 스팸 탐지 ▲투명성을 강화한 검색 랭킹에 대한 연구를 소개했다.
실시간 스트리밍(Streaming) 구조의 문서 수집 시스템으로 개선...전문정보, 해외 웹문서 수집도 적극 강화
문서 수집 시스템의 경우, 실시간 스트리밍(Streaming) 구조로 개선해 수집 로봇이 뉴스, 위키백과 등 신규 콘텐츠를 상시 분석하여, 새롭게 등장하는 웹문서를 발견해 신속하게 수집할 수 있도록 했다. 또한, 학술전문정보나 해외의 가치있는 사이트 및 웹문서 수집도 적극 강화했다.
자연어이해 기반으로 고도화된 스팸 처리 시스템, 내용의 충실성까지 판단해 스팸 제거
네이버는 딥러닝을 적용해 문서의 노출과 클릭 패턴뿐만 아니라, 문서 내용의 충실성까지 판단해 스팸을 제거하는 시스템에 대해서도 소개했다. 자연어이해(Natural Language Understanding) 기반의 웹 스팸 추출 로직을 개발하여, AI가 자동으로 복잡하고 다양해진 스팸 문서를 학습해 제거할 수 있도록 개선했다. 예를 들어, TextCNN 등 딥러닝 기반의 자연어이해 기술을 활용해 스팸 문서들이 자주 사용하는 단어 셋을 학습하여 성인, 도박, 보험 관련 스팸들을 제거하는 방식이다.
화제성, 신뢰도, 평판 등 반영해 검색 랭킹의 투명성 강화... 검색 랭킹을 결정하는 시그널은 공개 어려워
수집과 스팸 탐지를 거쳐, 네이버 화면에서의 노출을 결정하는 랭킹 시스템은 투명성을 강화해, 여러 곳에서 인용되었고 이용자들이 꾸준히 소비하는 화제성, 작성자 및 게시물에 대한 이용자들의 신뢰도 등의 가치를 더욱 반영했다.
'웹검색과 랭킹' 세션을 발표한 김상범 리더는 "네이버뿐만 아니라 구글, 야후 등 검색 사업자들은 검색 랭킹을 결정하는 시그널(요소)을 외부에 공개하기 어렵다"며, "랭킹 시그널을 공개하는 순간, 해당 랭킹 시그널을 이용하려는 외부 시도들에 의해 그 랭킹 시그널은 빠른 시일 내에 무력화되기 때문"이라고 덧붙였다.
한편, 네이버는 웹문서와 사이트 검색을 '웹사이트'로 통합하는 개선을 시작했다. 웹문서와 사이트 영역으로 나뉘어져 있던 정보들을 한데 모아, 보다 일목요연하게 웹문서 정보를 제공하기 위함이다.
네이버 웹검색 김종범 프로덕트 매니저는 "기존에는 별도로 존재하는 두 영역에서 클릭 수가 분산됨으로써, 각각의 영역이 통합검색 결과에서 아래쪽에 위치하는 경향이 있었다면, 두 영역이 통합되면서 '웹사이트' 영역이 상단에 더 잘 노출될 가능성도 생겼다"며, "네이버는 현재 '웹사이트' 영역의 수집 대상을 웹문서에 한정하고 있지만, 향후 다양한 시도를 거쳐 네이버 내부문서까지 포함하는 것도 고려할 예정이다"고 밝혔다. /이상
