세계 최고 자연어처리 학회에서 인정받은 ‘하이퍼클로바’… 네이버, ‘EMNLP 2021’에서 ‘하이퍼클로바’ 핵심 연구 포함 7개 논문 채택
세계 최고 자연어처리 학회에서 인정받은 ‘하이퍼클로바’… 네이버, ‘EMNLP 2021’에서 ‘하이퍼클로바’ 핵심 연구 포함 7개 논문 채택
세계 최고 자연어처리 학회에서 인정받은 ‘하이퍼클로바’… 네이버, ‘EMNLP 2021’에서 ‘하이퍼클로바’ 핵심 연구 포함 7개 논문 채택
- 총 37명이 참여한 '하이퍼클로바' 핵심 연구 논문 메인 컨퍼런스에서 발표 예정
- 초대규모 AI 분야의 글로벌 기술 경쟁력 입증... "한국어 AI의 가치도 인정받은 것"
- 적극적인 산학협력 통해 OCR, 바이오메디컬 AI 등 다양한 주제의 선행연구 진행
2021-09-03
네이버가 자연어처리 분야의 세계 최고 권위 학회인 ‘EMNLP(Empirical Methods in Natural Language Processing) 2021’에서 초대규모 AI 연구 성과를 공유한다. 클로바 및 AI랩 연구진은 네이버의 초대규모 AI ‘하이퍼클로바’의 핵심 연구 논문을 비롯해, 총 7개의 논문을 발표할 예정이다.
25년 전통을 가진 EMNLP는 ACL(Association for Computational Linguistics)과 더불어 자연어처리(NLP) 분야의 최고 AI 학회로 꼽힌다. 올해는 도미니카공화국에서 11월 7일부터 11일까지 열리며, 온라인으로도 동시 진행된다.
특히, 이번에는 네이버의 초대규모 AI인 하이퍼클로바의 핵심 연구 논문이 메인 컨퍼런스 발표에 채택되는 성과를 거뒀다. 하이퍼클로바는 네이버가 지난 5월 국내 기업 최초로 공개한 초대규모 AI이자, GPT-3보다 한국어 데이터를 6,500배 이상 학습한, 현재 공개된 단일 모델 중 전세계에서 가장 큰 한국어 초대규모 언어모델이기도 하다.
해당 연구는 한국어 초대규모 언어모델인 ‘하이퍼클로바’와 그 학습에 사용된 데이터를 소개하고, 다양한 크기의 모델들이 갖는 성능을 검증하는 내용이다. 논문에서는 하이퍼클로바가 다양한 한국어 과제(task)에 대해 제한된 예제만으로도 뛰어난 학습(in-context learning) 성능을 보인다는 것을 증명했다. 이와 더불어, 초거대 언어모델에서의 프롬프트 최적화(prompt optimization), 데이터 토큰화(tokenization) 등에 대한 논의를 발전시키고, ‘하이퍼클로바 스튜디오’를 통해 ‘노 코드 AI’(No Code AI) 등 초대규모 AI가 가져올 AI 서비스 개발 방법론의 혁신적인 변화에 대해서도 설명한다. 해당 연구에는 네이버의 클로바 및 AI랩의 연구진 뿐만 아니라, 소프트웨어 플랫폼 엔지니어, 검색 엔지니어 등 다양한 팀에 걸쳐 총 37명이 저자로 참여했다.
하정우 네이버 AI랩 소장은 “작년 하반기부터 초대규모 AI 기술에 집중적으로 투자하고 연구 역량을 결집시킨 결과, 국내 최초로 ‘하이퍼클로바’ 기술을 공개하고 성공적으로 상용화한 데 이어 세계 최고 권위의 학회에서 그 기술력을 인정받는 쾌거를 거뒀다”면서, “이번 논문은 영어 중심이었던 기존의 언어모델 연구를 넘어, 한국어 AI의 가치를 글로벌 자연어처리 학계가 인정했다는 점에서도 매우 의미 있는 성과”라고 강조했다.
이 외에도 네이버는 하이퍼클로바와 관련, 초거대 언어모델을 활용해 데이터를 자동 생성 및 라벨링함으로써 데이터를 효율적으로 증강 및 증류(distillation)시키는 기법에 대한 연구도 소개할 예정이다. 또한, OCR 과제에서 문서의 정보를 더욱 효율적으로 추출할 수 있는 방식을 제안하는 논문, AI 언어모델이 바이오메디컬 분야의 지식 베이스(knowledge base)로서 활용될 가능성을 탐구하는 논문 등 다양한 주제를 망라하는 선행연구 결과를 발표할 예정이다. 이는 KAIST, 고려대, 서울대 등 다양한 국내외 대학들과 적극적으로 협력한 결과라고 네이버 측은 덧붙였다.
한편, 네이버는 이번 EMNLP 2021에 네이버랩스유럽과 함께 실버(Silver) 등급 스폰서로도 참여하며 글로벌 IT 기업 및 학계와 적극 교류하고, AI 기술 발전에도 기여한다는 계획이다.<이상>
[참고] 네이버 EMNLP 2021 채택 논문 리스트
1. What Changes Can Large-scale Language Models Bring? Intensive Study on Billions-scale Korean Generative Pretrained Transformers
김보섭*, 김형석*, 이상우* 외 34명
2. Cost-effective End-to-end Information Extraction for Semi-structured Document Images
황원석, 이현지, 김진영, 김기욱, 서민준(KAIST)
3. Can Language Models be Biomedical Knowledge Bases?
성무진 (고려대), 이진혁(Princeton Univ.), 이석원 (고려대), 전민지(Icahn School of Medicine at Mount Sinai), 김성동, 강재우(고려대)
https://arxiv.org/abs/2104.08041
4. GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation.
유강민, 박동주, 강재욱, 이상우, 박우명
https://arxiv.org/abs/2104.08826
5. Reasoning Visual Dialog with Sparse Graph Learning and Knowledge Transfer.
강기천(서울대), 박준석(서울대), 이화란, 장병탁†(서울대), 김진화†
6. Devil’s Advocate: Novel Boosting Ensemble Method for Text Classification
조휘열, 임재서(서울대), 장병탁(서울대)
7. Understanding Mathematical Notation Semantics in Scientific Papers.
조휘열, 강동엽(Univ. of Minnesota), Andrew Head (Univ. of Pennsylvania), Marti A. Hearst (Univ. of California, Berkeley)