logo

네이버랩스, 비전 분야 세계 최고 학회서 ‘공간지능’ 기술로 1위 차지

​

- 사진 한 장으로도 3D 모델링 구현했던 DUSt3R를 업그레이드한 MASt3R, 정밀지도 없이도 정확한 측위로 12개 팀 중 압도적 1위 차지

- 빠른 처리시간은 물론 RGB이미지만으로도 가장 정확히 인식… BOP챌린지서도 1위 차지

- 3D 비전 파운데이션 모델 ‘CroCo’ 활용… 8년 축적한 공간지능 기술, 글로벌 경쟁력 증명

- 네이버클라우드도 논문 11건 채택…비전 AI 기술 고도화 성과

2024-10-08

네이버랩스(대표 석상옥)가 연구해 온 ‘공간지능^{(Spatial Intelligence)}’ 기술이 ‘2024 유럽컴퓨터비전학회^{(ECCV, European Conference on Computer Vision)}의 두 부문에서 1위를 차지, 팀네이버의 세계적인 기술 경쟁력을 다시 한 번 증명했다.

ECCV는 이미지 및 영상 등 컴퓨터 비전 분야에 특화된 최신 AI 연구 성과를 발표하고 새로운 기술 화두를 제시하는 세계 최고 권위의 학회로, 글로벌 빅테크는 물론 비전 분야 세계 최고 석학들이 참석한 가운데 2년 주기로 개최된다. 네이버랩스는 이번 ECCV 2024에서 ▲Map-free visual re-localization ▲BOP 챌린지 두 부문에 도전했으며, 모두 1위를 차지했다.

​

먼저, Map-free visual re-localization 챌린지는 정밀지도 등이 없는 상황에서도 얼마나 정확하게 측위가 가능한지를 겨룬다. visual localization은 일반적으로는 사전에 생성된 3D/HD 지도를 기반으로 측위^{(Localization)}을 수행하는 과정을 거친다. 그러나, 재난 또는 공사 현장 등 지도를 생성하거나 미리 준비할 수 없는 상황도 있기에 ‘지도 없이 측위’하는 기술도 점차 중요성이 높아지고 있다.

네이버랩스는 해당 챌린지에 이미지를 3D로 재구성하는 AI 기술 도구 ‘마스터^(MASt3R)’를 선보였다. MASt3R는 정밀지도가 없는 상황에서도 충분히 정확한 측위가 가능하다는 점을 인정받아 구글, 애플, 메타 등 12개 참가팀 중 압도적인 1위를 차지했다. MASt3R는 네이버랩스유럽이 개발한 3D 비전 파운데이션 모델^(VFM) ‘크로코^(CroCo)’를 기반으로 만든 '더스터^(DUSt3R)'의 업그레이드 버전이다.

또, 네이버랩스는 BOP^{(Benchmark for 6D Object Pose Estimation)} 챌린지에서도 1위를 차지했다. BOP 챌린지에서는 이미지 내에 있는 물체들의 3차원 회전과 위치를 얼마나 정확히 추정하는지 겨룬다. 네이버랩스가 해당 부문에 제출한 기술 모델은 RGB이미지만으로도 물체의 위치를 가장 정확하게 측위^{(The Best RGB-Only Method)}하고, 또 가장 빠르게 처리^{(The Best Fast Method)}할 수 있다는 평가를 받으며 1위를 차지했다. 특히 이번 BOP 챌린지 1위는 지난해에 이어 두 번째라는 점에서 의미가 남다르다. 해당 모델 역시 3D 비전 파운데이션 모델 CroCo를 기반으로 제작됐다.

​

2017년 별도 법인으로 출범한 네이버랩스는 꾸준한 기술 연구를 바탕으로 공간지능 분야에서 기술 화두를 제시해왔다. 2019년 인수한 세계 최대 AI 연구소 네이버랩스유럽을 통해 비전 기술을 축적해온 결과, 2019년 CVPR에서 VL^{(Visual Localization)} 요소 기술 ‘R2D2’로 글로벌 IT기업들을 제치고 1위를 차지한 바 있다. 이어 지난해 3D 비전 파운데이션 모델 CroCo를 선보이고 올해 CVPR에서 MASt3R까지 공개하며 전세계 연구자들 사이에서 기술 화두를 선도해가고 있다.

석상옥 네이버랩스 대표는 “인공지능에 이어 새로운 미래 변화를 만들어 낼 공간지능은 네이버랩스 출범 이후 로봇과 자율주행 기술을 발전시켜 오며 꾸준히 준비해 온 분야이자 핵심 경쟁력 그 자체”라며 “로봇, 자율주행, 디지털 트윈은 물론 이를 지원하는 클라우드 인프라, 1784와 같은 핵심 테스트베드, 나아가 중동 등 새로운 글로벌 이정표로도 확장할 수 있도록 R&D에 더욱 매진하겠다”고 말했다.

네이버클라우드 AI 논문도 11건 채택…비전 AI 기술 고도화 성과

한편, 네이버클라우드 역시 이번 ECCV 2024에서 11편의 AI 연구 논문이 게재 승인되는 성과를 거두며, 최근 ‘멀티모달^(Multimodal) AI’의 부상으로 더욱 주목받고 있는 컴퓨터 비전 분야 기술력을 선보였다. 특히 AI 모델 제작에 필요한 다량의 이미지·텍스트 데이터를 보다 효과적으로 정제해 양질의 학습 데이터셋을 구축할 수 있는 방법을 제안한 연구^[1], 이미지 인식 모델 성능을 향상시키는 방법을 소개한 연구^[2] 등을 발표하며 글로벌 AI 연구자들의 주목을 받았다.

네이버는 이러한 경쟁력 있는 비전 AI 기술을 바탕으로 생성형 AI 서비스를 고도화하는 데에도 속도를 낼 예정이다. 지난 8월에는 자체 초대규모 생성형 AI ‘하이퍼클로바X’ 기반의 시각 정보 처리 기술을 공개하고 이를 대화형 AI 서비스 ‘클로바X’에 탑재했다. 네이버에 따르면, ChartQA, DocVQA, MathVista, MMMU 등 8개 벤치마크를 기준으로 하이퍼클로바X의 이미지 이해 능력은 글로벌 최고 수준 모델의 99.94%에 이르며, 지속적으로 성능을 향상시켜 나갈 계획이다. </이상>

[참고] DUSt3R, MASt3R

DUSt3R는 1~2장 정도의 사진만으로도 특정 건물이나 실내 공간 등의 3D 모델링을 구현할 수 있는 AI 기술 도구다. MASt3R는 DUSt3R를 한 단계 더 발전시켜, 한 번에 수 천장의 대규모 이미지 데이터를 일괄 처리하면서도, 건물 내부는 물론 도심 단위의 복잡한 환경까지 빠르고 정확하게 3D 모델로 구현할 수 있다.

^[1] HYPE: Hyperbolic Entailment Filtering for Underspecified Images and Texts

^[2] Model Stock: All we need is just a few fine-tuned models