logo

 

 

 

DSTC는 2013년에 시작해 올해 6회째를 맞은 대화시스템 분야의 대표적인 연구 대회로, 전세계적으로 인공지능 대화시스템을 연구하고 있는 기업들과 학계가 참여해 기술을 평가하는 장이다. 이번 DSTC6에는 네이버를 비롯해 일본 와세다대학교, 대만 동오대학교, 일본 인공지능 업체인 넥스트레머(Nextremer) 등이 참가했으며, 현지 시각 10일 미국 롱비치에서 채택된 논문에 대해 발표할 수 있는 기회가 주어졌다.

 

네이버는 인공지능 대화시스템과 사람 간의 대화에서 자연스러운 흐름을 방해하는 요소를 찾아내는 기술에 대해 겨루는 'Dialog Breakdown Detection(English)' 과제(Task)에 참가해, RNN(딥러닝)을 활용해 대화 간의 오류를 발견하는 네이버-클로바 대화 시스템의 기술을 제시한 논문 <Attention-based Dialog Embedding for Dialog Breakdown Detection>에 대해 발표했다.

 

네이버는 컴퓨터와 사람이 대화를 하는데 있어 주제나 맥락에 맞지 않게 대화를 이어갈 경우, 흐름을 방해하는 요소를 찾아내는 대화 기술의 성능을 높이도록 꾸준히 연구해왔다. 해당 기술은 네이버-클로바 대화시스템뿐만 아니라 다른 대화시스템에도 적용이 가능해 범용적으로 활용이 가능하다.

 

예를 들어, 해당 기술은 '요즘 재미있는 영화가 뭐야?'라는 사람의 질문에 컴퓨터가 '오늘 날씨 좋아'와 같이 문맥에 맞지 않는 대답을 할 경우, 이를 대화를 단절시키는 요소로 인식한 후 걸러냄으로써 다음에는 올바른 대답을 할 수 있도록 학습하는 과정을 거친다.

 

특히, 네이버-클로바 대화 시스템의 기술은 해당 과제의 3개 평가 항목 중 실제 사람이 판단한 점수를 기준으로 분포의 유사도를 측정하는 2개 항목인 'Overall Results of JS Divergence(2개의 확률분포간의 유사도를 측정)'과 'Overall Results of Mean Squared Error(평균제곱오차)'에서 가장 높은 점수를 기록했다.

 

네이버-클로바 대화시스템 김경덕 연구원은 "정확성(Accuracy)에 대한 평가 항목에서도 추가 실험을 통해 높은 성능을 내도록 시스템을 개선하여 발표를 마쳤다"며, "대화시스템 고도화를 위한 연구를 꾸준히 이어갈 것이며, 실제 사용자들이 스마트한 서비스로 접할 수 있도록 노력하겠다"고 밝혔다. /이상

 

 

[참고] DSTC6(Dialog System Technology Challenge 6) Workshop

- DSTC는 2013년에 시작해 올해 6회째를 맞은 대화시스템 분야의 대표적인 연구 대회

- 매회 주제에 따라 과제와 데이터가 주어지며, 이를 바탕으로 해결책을 연구한 결과를 제출. 매번 다른 학회에서 결과를 랩업하는 워크샵을 진행.

- DSTC6 워크샵은 12월 10일에 미국 캘리포니아 하얏트 리젠시 롱비치 호텔에서 NIPS 2017 직후에 개최됨

- 올해의 과제는 end-to-end 기술을 대화시스템에 적용하는 방법에 관한 것으로, 구체적으로는 ▲End-to-End Goal Oriented Dialog Learning, ▲End-to-End Conversation Modelling, ▲Dialog Breakdown Detection 의 3개 트랙으로 구분됨

-  마이크로소프트 연구소, 페이스북 AI 연구소, 어도비 연구소, 미쓰비시 연구소와 함께 네이버랩스유럽이 후원사로 참여함