네이버 클로바, 세계 1위 머신러닝 학회에서 논문 12건 채택…‘역대급’ 기록으로 AI 연구 역량 입증
- ICLR, 지난해부터 구글 스칼라 선정 글로벌 탑티어 AI/ML 학회 랭킹 1위 기록…세계 최고 권위 머신러닝 학회
- 음성인식∙합성, 컴퓨터 비전, 자연어처리 학회에 이어 중장기적 AI 기반 연구 다루는 머신러닝 학회에서도 두 자릿수 논문 채택
- 서울대학교, 카이스트 AI대학원과 각각 수행하고 있는 강결합 연구 협력에서도 성과
2022-01-26
네이버 클로바가 세계 최고 권위 머신러닝(ML, Machine Learning) 학회 ‘ICLR(International Conference on Learning Representations, 표현 학습 국제 학회) 2022’에서 12개 논문이 채택되는 성과를 거두며 국내를 넘어 아시아 탑 클래스의 연구 역량을 보여줬다. ‘네이버랩스유럽(NLE)’과, 네이버의 일본 관계사 ‘라인’을 포함하면 네이버는 총 17개의 논문이 채택되는 쾌거를 이루었다.
ICLR은 올해로 10회째를 맞는 ML 학회로, 인공지능(AI) 및 데이터 사이언스 분야에서 활용되는 딥러닝 핵심 기술과 관련된 전세계 첨단 연구들이 공유되는 컨퍼런스이다. 지난해부터 ‘구글 스칼라(Google Scholar)’가 발표하는 탑티어(top-tier) AI/ML 학회에서 1위를 차지하며 그 권위를 인정받고 있다.
네이버가 ICLR과 같은 세계적인 ML 학회에서 두 자릿수 논문 채택을 기록한 것은 올해가 처음이다. 특히 국내 기업이 최고 수준의 ML 학회에서 두 자릿수 논문을 발표하는 것은 네이버가 최초이며, 대학교를 포함한 국내 전체 연구 그룹 중에서도 ICLR에서의 두 자릿수 논문 발표는 카이스트(KAIST)에 이어 역대 두 번째이다. 네이버는 지난해 ICASSP, Interspeech, ICCV, EMNLP 등 주요 주요 음성인식∙합성, 컴퓨터 비전, 자연어처리 학회에서는 이미 두 자릿수 논문을 발표한 바 있어, 이번 성과를 통해 응용 AI 분야에서뿐만 아니라 AI 핵심 기반 기술 분야에서도 글로벌 최고 수준의 연구 역량을 입증했다.
특히 파라미터를 쓰지 않는 연산을 활용해 CNN(Convolutional Neural Network) 네트워크를 구축하는 새로운 설계 패러다임을 제안한 논문이 채택되었다(Learning Features with Parameter-Free Layers, 한동윤, 김범영, 유영준, 허병호). 이러한 연산 방법을 효과적으로 사용해 데이터 처리 성능을 개선할 수 있다. 또한 심층신경망(DNN, Deep Neural Network)이 배우기 용이한 방향으로 학습하는 이유에 대해 실험적으로 분석한 연구(Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective. Luca Scimeca, 오성준, 전상혁, Michael Poli, 윤상두)와, 생김새 차이가 미세한 물체 이미지에 대해 자연스러운 합성과 정확한 군집을 동시에 수행 가능한 연구도 함께 채택되었다 (Contrastive Fine-grained Class Clustering via Generative Adversarial Networks, 김윤지, 하정우).
학계에서 AI 연구를 주도하고 있는 국내 대학들과 지난해부터 본격적으로 시작한 강결합 연구 협력도 ICLR 2022에서 성과를 거두었다. 네이버는 ‘서울대-네이버 초대규모 AI 연구센터(SNU-NAVER Hyperscale AI Center)’의 전병곤 교수 연구실과 함께 더 효과적인 인공 신경망 설계를 자동화하는 AI 학습 기법을 제안했다(SUMNAS: Supernet with Unbiased Meta-Features for Neural Architecture Search, 하헌민, 김지훈, 박세민, 전병곤). ‘카이스트-네이버 초창의적 AI 연구센터(KAIST-NAVER Hypercreative AI Center)’의 신진우 교수 연구실과 함께 연구한, 현존 비디오 생성기술의 한계를 뛰어넘는 상대적으로 긴 영상도 안정적으로 생성할 수 있는 비디오 생성 알고리즘에 대한 논문도 채택되었다(Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks, 유시현, 탁지훈, 모상우, 김현수, 김준호, 하정우, 신진우).
정석근 네이버 클로바 CIC 대표는 “ICLR 2022에서 네이버가 거둔 성과는 한국 AI 기업 역사에 기록될 수 있을 정도로 ‘역대급’ 기록”이라며 “네이버 클로바의 AI 연구 역량이 글로벌 연구자들에게 인정받은 것과 더불어, 네이버가 서울대학교, 카이스트 AI대학원과 각각 수행하고 있는 국내 최초의 강결합 방식 연구 협력 성과가 빠르게 도출되고 있다는 점에서 의미가 크다.”고 말했다. 또한 “AI의 핵심이라고 할 수 있는 기계학습 분야는 응용 AI 분야에 비해 국내 연구 성과가 두드러지지 않았는데, 네이버 클로바가 한국의 AI 연구 경쟁력 강화에도 크게 기여했다는 점에서도 고무적인 성과”라고 덧붙였다.
한편, 네이버는 세계 최대 음성 AI 학회인 ‘ICASSP(International Conference on Acoustics, Speech, and Signal Processing) 2022’에서도 7개의 논문을 발표할 예정이라고 밝혔다. 클로바의 음성 인식, 음성 합성 기술 기반 서비스에 적용되는 연구 논문들이 채택되었으며, 라인이 발표한 논문을 합하면 총 10개의 논문이 채택되는 성과를 거두었다. </이상>
[참고_1] 네이버 클로바 ICLR 2022 채택 논문 리스트
1. Learning Features with Parameter-Free Layers
한동윤(NAVER AI Lab), 유영준(NAVER Clova), 김범영(NAVER Clova), 허병호(NAVER AI Lab)
CNN 네트워크 설계에 있어서 max pooling과 같은 파라미터를 쓰지 않는 연산을 효과적으로 사용함으로써 성능 개선하는 방법을 제안
2. SUMNAS: Supernet with Unbiased Meta-Features for Neural Architecture Search (SNU-NAVER Hyperscale AI Center)
하현민(SNU), 김지훈(NAVER Clova), 박세민(Google), 전병곤(SNU)
Neural architecture search에서 meta learning을 활용한 효과적인 supernet 학습 기법 제안
3. ViDT: An Efficient and Effective Fully Transformer-based Object Detector
송화준(NAVER AI Lab), Deqing Sun(Google Research), 전상혁(NAVER AI Lab), Varun Jampani(Google Research), 한동윤(NAVER AI Lab), 허병호(NAVER AI Lab), 김원재(NAVER AI Lab), Ming-Hsuan Yang(Google Research, UC Merced)
기존 DETR대비 훨씬 효과적이고 효율적인 전체 Transformer 백본을 활용한 디텍터 연구
4. Coherence-based Label Propagation over Time Series for Accelerated Active Learning
신유주(KAIST), 윤수식(UIUC), 김선동(IBS), 송화준(NAVER AI Lab), 이재길(KAIST), 이병석(Univ. of Vermont)
시계열 데이터의 Active learning을 위한 새로운 label propagation 기법을 제안
5. Which Shortcut Cues Will DNNs Choose? A Study from the Parameter-Space Perspective
Luca Scimeca(NAVER AI Lab), 오성준(NAVER AI Lab), 전상혁(NAVER AI Lab), Michael Poli(NAVER AI Lab), 윤상두(NAVER AI Lab)
Neural network에 왜 좀더 배우기 용이한 쪽으로 학습하는지를 실험적으로 분석한 연구
6. Know Your Action Set: Learning Action Relations for Reinforcement Learning
Ayush Jain*(USC), Norio Kosaka*(NAVER CLOVA), 김경민(NAVER CLOVA), Joseph J Lim(KAIST, NAVER AI Lab)
RL에서 다양한 action space하에서의 각 action의 독립성과 연관관계 학습에 대한 연구.
7. Skill-based Meta-Reinforcement Learning
남태욱(KAIST), Shao-Hua Sun(USC), Karl Pertsch(USC), 황성주(KAIST), Joseph J Lim(KAIST, NAVER AI Lab)
8. Task-Induced Representation Learning
Jun Yamada (Oxford), Karl Pertsch(USC), Anisha Gunjal(USC), Joseph J Lim(KAIST, NAVER AI Lab)
9. Encoding Weights of Irregular Sparsity for Fixed-to-Fixed Model Compression
박배성*(NAVER CLOVA), 권세중*(NAVER CLOVA), 오대환(Samgsung Research), 김병욱(NAVER CLOVA), 이동수(NAVER CLOVA)
Neural network pruning시에 fix-to-fix 웨이트 압축 기법을 새롭게 제안
10. Online Continual Learning on Class Incremental Blurry Task Configuration with Anytime Inference
고현서(GIST, NAVER AI Lab), 김다현(GIST, NAVER AI Lab), 하정우(NAVER AI Lab), 최종현(GIST, NAVER AI Lab)
기존 Online class incremental learning의 여러가지 실용적이지 않은 가정을 실제적인 형태로 개선하고 이 셋업에서 정확한 모델 평가를 위한 새로운 평가지표 제안
11. Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks (KAIST-NAVER Hypercreative AI Center)
유시현(KAIST), 탁지훈(KAIST), 모상우(KAIST), 김현수(NAVER AI Lab), 김준호(NAVER AI Lab), 하정우(NAVER AI Lab), 신진우(KAIST)
Implicit neural representation을 이용하여 상대적으로 긴 비디오를 안정적으로 생성할 수 있는 비디오 생성 GAN 연구
12. Contrastive Fine-grained Class Clustering via Generative Adversarial Networks
김윤지(NAVER AI Lab), 하정우(NAVER AI Lab)
배경, 전경 구분과 contrastive 기반의 GAN학습을 통해 box supervision 없이도 세부 클래스 클러스터링과 이미지 생성이 동시에 가능한 기법 제안
[참고_2] 네이버 클로바 ICASSP 2022 채택 논문 리스트
1. Phase Continuity: Learning Derivatives of Phase Spectrum for Speech Enhancement.
김도연(Yonsei U.), 한혜원(Yonsei U.), 신현경(Yonsei U., NAVER CLOVA), 정수환(NAVER CLOVA), 강홍구(Yonsei U.)
음성 스펙트럼의 시간과 주파수 축에서의 연속성을 강조하기 위해 위상 스펙트럼의 변화량을 커널 단위로 학습하였으며, 이를 기반으로 전반적인 음질 개선의 학습 효과와 성능을 향상시킴
2. Multi-Scale Speaker Embedding-based Graph Attention Networks for Speaker Diarisation
권영기(NAVER CLOVA), 허희수(NAVER CLOVA), 정지원(NAVER CLOVA), 김유진(NAVER CLOVA), 이봉진(NAVER CLOVA), 정준선(KAIST)
Speaker diarisation 성능 개선을 위한 multi-scale speaker embedding 기반 graph attention network 활용.
3. AASIST: Audio Anti-Spoofing using Integrated Spectro-Temporal Graph Attention Networks
정지원(NAVER CLOVA), 허희수(NAVER CLOVA), Hemlata Tak(EURECOM), 심혜진(서울시립대), 정준선(KAIST), 이봉진(NAVER CLOVA, 유하진(서울시립대), Nicholas Evans(EURECOM)
Spectro-Temporal Graph Attention Network 를 활용한 음성인식에 위협이 될 수 있는 오디오 위변조 검출기법 제안.
4. Attentive Max Feature Map and Joint Training for Acoustic Scene Classification
심혜진(서울시립대), 정지원(NAVER CLOVA), 김주호(서울시립대), 유하진(서울시립대)
attention과 max feature map을 결합한 구조 및 joint training 구조 제안
5. Spell My Name: Keyword Boosted Speech Recognition
정남규(NAVER CLOVA), 김건민(NAVER CLOVA), 정준선(KAIST)
고유명사와 같은 인식이 어려운 키워드들에 대해서 사전 학습 없이 디코더에서 부스팅 시켜 전체 인식 성능 및 키워드 인식 성능을 향상.
6. Integration of Pre-trained Networks with Continuous Token Interface for End-to-End Spoken Language Understanding
서승현*(NAVER CLOVA), 곽동현*(NAVER CLOVA), 이보원(인하대)
End-to-End SLU Model을 구성함에 있어 두 개의 사전학습된 ASR, NLU 네트워크를 결합하는 방법으로 Continuous Token Interface (CTI) 라는 새로운 연결 방법을 제안하여, 최근에 제안된 SLURP dataset에 대해서 State-Of-The-Art (SOTA) 달성.
7. Multi-Domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution.
정소미(NAVER LABS), 이지영(NAVER AI Lab), 손광훈(Yonsei University)
표현 적응형 convolution을 이용하여 다양한 도메인의 unsupervised 이미지 변환 기법 제안
