logo

​

생성형 AI가 세상을 변화시키고 있습니다. 좀 더 정확히 말하자면, '디지털 세계'를 바꾸고 있습니다.

​

최근 우리는 어떤 변화를 마주하고 있나요? 먼저 챗봇이 있습니다. 챗봇은 24시간 연중무휴로 사람처럼 자연스러운 답변을 제공합니다. 그리고 창의력의 한계를 넘나드는 이미지 생성 AI도 있습니다. 이 도구는 전문가 뿐 아니라 저처럼 그림 실력이 별로 없는 사람들에게도 새로운 경험을 열어주고 있습니다. 아바타 역시 더욱 사실적인 표현이 가능해졌습니다. 이는 주로 디지털 세계에서 일어나는 일들의 예시입니다.

​

하지만 주목해야 할 또 다른 세계가 있습니다. 바로 우리가 살아가는 물리 세계입니다. 생성형 AI에 사용된 방법론은 물리 세계에서도 활용될 수 있습니다. 게다가 더 큰 잠재력을 가지고 있습니다. 오늘은 이에 대한 우리의 연구를 소개하려 합니다.

​

​

​

그간 네이버랩스의 주된 연구 대상은 AI와 물리 세계의 접점이었습니다. 중점을 두는 분야는 로봇이 다양한 환경에서 태스크를 수행하는 ‘행동(action)’, 로봇이 환경을 이해하고 인지하는 ‘비전(vision)’, 로봇과 인간의 ‘상호작용(interaction)’으로 요약됩니다. 그 대표적인 성과 중 하나가 네이버의 신사옥인 '1784'입니다. 이 곳에는 100대의 로봇이 직원들에게 커피를 서빙하거나 택배를 배달하는 등 다양한 로봇 서비스를 제공합니다. 이때 AI 기술이 중요한 역할을 합니다. AI가 로봇들을 점점 더 똑똑하게, 다재다능하게 만들어야 합니다.

​

또한 빌딩을 넘어 도시 전체로 그 대상을 넓히고 있습니다. 바로 방대한 물리 공간을 디지털로 3D 복제하는 디지털 트윈(Digital Twin) 기술에 대한 이야기입니다. 서비스 로봇, 도시 시뮬레이션, 자율주행, AR 내비게이션 등 스마트 시티의 핵심 데이터가 되는 이 기술에도 복잡한 물리적 세계를 이해하려는 AI의 능력이 중요합니다. 그래야 데이터 기반의 도시 계획과 의사 결정이 가능해지고, 스마트하면서도 지속 가능한 도시를 만들 수 있습니다.

이처럼 물리 세계를 잘 이해하는데 이미 AI가 중요한 역할을 하고 있습니다. 그리고 우리는 몇 년 전부터 이러한 연구를 가속할 새로운 방법론에 집중하기 시작했습니다. 바로 파운데이션 모델(Foundation Model)입니다.

​

​

​

네이버랩스 유럽의 연구자들은 2021년 아주 중요한 결정을 했습니다. 지금까지 진행해 온 연구 프로젝트들을 파운데이션 모델 기반으로 전환하겠다는 것입니다. 파운데이션 모델은 매우 방대한 데이터셋을 사용하여 사전 학습된 것으로, 말하자면 일종의 반제품이기 때문에 다양한 목적으로 활용할 수 있습니다. 이 방법론이 대세가 될 것을 강하게 확신했습니다. 그럼에도 많은 전환 비용이 발생할 결정이 결코 쉬운 일은 아니었습니다.

당시 왜 이런 선택을 했을까요? 이를 설명하기 위해서는 전통적인 AI 접근법의 한계에 대해 먼저 말해야 합니다.

​

이전의 AI 연구는 주로 문제를 식별하고 관련 데이터를 수집한 다음 신경망을 훈련시켜 해결책을 찾는 방식이었습니다. 다양한 실제 상황에 일일이 적용하기는 어렵습니다. 환경의 세부 사항이 변경되면 학습에서 배포로 전환되는 과정에서 성능이 저하되기도 합니다. 서비스 관점에서 보자면, 개별 사용자의 다양한 요구 사항을 수용하는 AI 개발에 어려움이 많다는 이야기입니다.

​

좀 더 구체적으로, 로봇을 위한 AI를 예로 들어 볼까요? 기술적으로 볼 때, 제어되지 않은 환경에서 로봇이 자율적으로 작업을 수행하도록 하는 것은 너무나 어렵습니다. 제어가 안된다는 건 예상할 수 없다는 의미입니다. 그래서 로봇이 예기치 않게 작업이 중단되어도 그 대응 방법을 찾는 일이 매우 복잡합니다. 그래서 예상치 못한 변수가 많을수록 로봇의 능력을 더욱 제한하는 선택을 합니다.

​

파운데이션 모델은 이런 한계를 돌파할 키가 됩니다. 방대한 양의 데이터로 포괄적으로 학습시킨 후 특정 목적에 따라 미세 조정을 하면, 새로운 작업에 적용하는 노력을 최소화할 수 있습니다. 실제로 파운데이션 모델로의 전환 이후 우리의 AI 성능은 크게 좋아졌습니다. 그보다 중요한 것은, 도메인이 다른 연구자들끼리 파운데이션 모델을 통해 서로의 시너지를 높일 수 있게 되었다는 점입니다.

​

​

​

​

물론 어려운 점도 많습니다. 일단 물리 세계의 데이터 확보가 쉽지 않고, 게다가 실제 세상이 늘 변화하기 때문에 데이터를 빠르게 업데이트해야 합니다. 훈련과 배포 사이의 전환 속도 역시 중요한 문제입니다. 이러한 이유로 디지털 세계에서의 성과에 비해 물리적 세계에서의 파운데이션 모델 연구는 전 세계적으로 초기 단계에 머물러 있는 것으로 보입니다. 다행히 우리는 앞서 출발했고, 일상적인 공간에서 늘 작동 중인 로봇들도 보유하고 있습니다. 거대한 테스트베드도 가지고 있습니다. 데이터셋 확보와 업데이트하는 데 있어서도 많은 강점이 있습니다. 덕분에 많은 프로젝트를 동시에 진행하고 있는데, 그 중 하나가 로봇과 디지털 트윈을 위한 3D 파운데이션 모델인 CROCO입니다.

​

CROCO는 Cross-view Completion의 약자로, 동일 장면에 해당하는 다른 시점의 이미지들로 AI가 현실 세계를 이해하도록 가르친 것입니다. 사람이 두 눈으로 3차원을 인식하는 것과 비슷합니다. CROCO를 학습시킨 후 미세 조정을 통해 로봇이 복잡한 물리 세계의 적응력을 키우는 데 사용할 수 있습니다. 예를 들어 클라우드에 연결된 다수의 로봇들이 특정 공간에서만 서비스를 잘하는 것이 아니라, 다른 공간에 가서도 환경 변화에 적응하여 서비스를 잘 제공할 수 있게 됩니다. 또한 환경 정보가 변화하거나 불완전할 경우에도 모빌리티 등의 성능을 안정화할 수 있습니다. 대규모 로봇들의 모빌리티에 더욱 효과적으로 적용할 수 있는데, 이는 기존의 AI 방식만으로는 불가능한 일입니다. 궁극적으로 우리는 로봇들이 어딘가로 이동해야 할 때 사람처럼 공간을 탐색할 수 있기를 바랍니다.

​

공간에 대한 이해만이 아닙니다. 사람과의 상호 작용 측면에서도 큰 변화를 기대할 수 있습니다. 로봇에게 사람은 매우 복잡한 이해의 대상입니다. 로봇이 다양한 상황에서 사람의 행동과 의도를 이해할 수 있다면, 안전하게 상호작용할 수 있는 로봇 서비스를 제공할 수 있을 것입니다. 이 연구는 로봇 서비스 대중화에 매우 중요합니다.

​

​

​

​

우리는 로봇이 일상적인 물리 세계에서 더 잘 작동할 수 있도록 많은 문제를 해결하고 있습니다. 이제 파운데이션 모델을 통해 하나의 문제를 풀면 거기서 그치는 것이 아니라 새로운 문제 해결을 위한 지식으로 이전할 수 있게 되었습니다. 이러한 연쇄 반응의 미래는 어떨까요? 이 방법론을 통해 미래에는 1,000대의 로봇이 1,000개의 각기 다른 작업을 수행할 수 있게 될 것입니다. 복잡한 현실 세계에서 말이죠.

​

우리의 기술은 연구실을 벗어나 일상으로 나아갑니다. 앞으로도 모든 사람들이 일상에서 로봇을 유용하게 사용할 수 있도록 노력할 것입니다. 파운데이션 모델이 그 속도를 높이고 있습니다.

​

​

▶︎ 프랑스 최대 규모의 AI 연구기업 ‘네이버랩스 유럽’을 이끌고 있는 마틴 휴멘버거(Martin Humenberger)는 AI를 통해 로봇들이 실제 생활환경을 효과적으로 이해하고 사람들과 상호작용하는 방법을 학습할 수 있는 파운데이션 모델 연구를 지속하고 있습니다.

​

▶︎ Forward Thinking 시리즈는 AI, 로봇, 자율주행, 디지털 트윈 등 이 시대 주요 기술 트렌드를 중심으로 네이버랩스와 함께하는 뛰어난 연구자들의 지식과 화두를 담아 온라인에서 비정기 발행됩니다. www.naverlabs.com/forwardthinking