AI 검색의 모든 가능성을 탐구하다
AI 검색의 모든 가능성을 탐구하다
이제는 말할 수 있다, Cue: 개발의 모든 것
큐의 출생지는 시애틀?
토종 언어 모델과 토종 검색 엔진의 합작인 Cue:. 하지만 처음 청사진이 그려진 곳은? 바로 시애틀이었습니다. 많은 프로젝트가 그러하듯 Cue:도 처음에는 추상적인 아이디어 정도였고, 구체화가 필요했는데요. 시간이 여유롭지 않았던 만큼 짧고 굵게 구체화를 시키기 위해 합숙에 가까운 일정으로 청사진을 만들기로 했고, 참여하는 분들의 상당수가 미국에 있었던 만큼 장소는 시애틀이 되었습니다.
스타벅스의 탄생지에 도착했다는 설렘도 잠시, 치열한 브레인스토밍이 시작되었습니다. 저희가 목표한 것은 정답이 없는 문제였기에 벽에 부딪히고 제자리를 맴도는 일이 많았지만, 화이트보드를 채우고 지우고를 반복하면서 조금씩 청사진이 완성되었습니다. Reasoning, factually consistent generation 등 Cue:를 정의하는 핵심 아이디어들도 여기에서 탄생했습니다.
청사진이 완성되는 동안 시애틀에 있는지 한국에 있는지 헷갈릴 정도로 사무실과 호텔만 왔다 갔다 했습니다. 시애틀로 출발하기 전 ‘사무실과 호텔에만 있을’ 거라고 얘기를 들었을 때는 농담이라고 생각했지만, 농담이 아니었어요. 그래도 밀도있게 브레인스토밍을 하고, 처음에는 막막하기만 했던 문제의 청사진이 완성됐을 때의 쾌감은 잊지 못할 것 같습니다.
글로벌한 협력
Cue:의 개발은 AI부터 프론트엔드, 백엔드 개발, 평가 및 데이터 생성 및 관리에 이르기까지 여러 분야를 원활하게 통합해야 하는, 절대 쉽지 않은 과정이었는데요. 이 자체로도 어렵지만 시차라는 추가적인 난관도 있었습니다. 앞서 말씀드린 것처럼 프로젝트에 참여한 많은 분들이 시애틀, 보스턴 등 다양한 지역에서 다양한 시간대에 업무를 수행 중이었고, 이를 극복하기 위해 여러 희생과 타협이 이루어져야 했습니다.
가장 효과적인 협업 통로는 이젠 재택근무로 익숙해진 화상 회의입니다. 하지만 시차로 인해 화상 회의를 중심으로 협업하는 것은 무리가 있었습니다. 예를 들어, 한국 시간을 기준으로 월요일 오전에 미팅을 하게 되면 미국 서부는 일요일 저녁, 미국 동부는 일요일 밤이 됩니다 (실제로 거의 매주에 가깝게 월요일 오전에 미팅이 진행되었습니다). 하지만 결국 잠은 자야 하기에 미팅을 할 수 있는 시간은 한국 시간을 기준으로 아침부터 이른 오후까지에 불과했습니다.
문서와 메일과 같은 비동기식 커뮤니케이션의 중요도가 크게 올라간 것은 이 때문입니다. 모든 업데이트와 실험 내용 및 결과는 상세하게 문서로 정리가 되었고, 이에 대한 피드백도 문서에 덧붙여졌습니다. 처음에는 이러한 작업이 불편하게 느껴졌지만, 익숙해지니 각자의 시간에 각자의 속도로 커뮤니케이션을 할 수 있고 피드백 내용이 상세하게 기록으로 남는다는 등 굉장히 매력적인 업무 방식이었어요. 주요 내용이 비동기식으로 미리 커뮤니케이션이 된 덕분에 화상 회의에 필요한 시간이 줄어든 것도 장점입니다.
이렇게 다양한 커뮤니케이션 채널들을 통해 소통을 하더라도, 주말 및 저녁 시간을 희생해야 하는 점은 피하기 어려웠습니다. 하지만 누구 하나 이에 대해 불평하지 않았을 만큼, Cue: 프로젝트에 참여하신 한 분 한 분이 모두 Cue:에 대한 애정과 열정이 넘쳤고, 이게 Cue:가 세상으로 나올 수 있었던 가장 큰 원동력이었던 것 같습니다.
평가, 평가, 평가
Cue:는 기존 네이버 검색과 다르게 사용자가 자연스럽고 상세하게 질문을 하도록 되어 있습니다. 그래서 예상치 못했던 어려움 중 하나가 사용자가 어떤 질문들을 할지 예측하는 것이었습니다. Cue:를 구성하는 여러 AI 모델들을 학습시키려면 사용자들이 물어볼 법한 질문들로 구성된 학습 데이터가 필요한데, 기존 네이버 검색에 사용자들이 입력하는 질문들은 자연어가 아니라 짧은 키워드 형태라서 사용하기 어려웠어요.
그래서 Cue: 프로젝트에 참여한 모든 분들은 Cue:를 사용해 보고 평가하는 것이 일과 중 하나였습니다. 내부 사용 기록을 일일이 분석하여 문제점을 찾고, 데이터를 보강하고, 새로운 모델을 학습하거나 알고리즘을 개선하고, 다시 평가하는 작업이 2~3일 주기로 몇 달간 반복되었는데요.
물론 작업이 고되긴 했지만, Cue:가 점점 말귀를 잘 알아듣고, 찾고자 하는 정보를 일목요연하게 정리해서 보여주기 시작하면서 의무감이 아니라 정말로 편리하고 좋아서 Cue:를 사용하게 되는 경우가 점점 늘어났어요. 이번 휴가 일정도 Cue:가 만들어준 대로 갈 예정입니다.
Cue: 가 나아갈 방향
저희가 나아가야 할 궁극적 방향은 검색 서비스를 만드는 사람들로서, 사용자들이 더 편하게 원하는 바를 찾게 하는 것이라고 생각합니다. 네이버의 오랜 서비스에 축적된 검색 노하우 속에 답이 있다고 봅니다.
더 깊은 의미를 향해
Cue:는 사용자의 질문을 읽고 사용자의 의도가 무엇인지 이해합니다. 파악한 의도를 고려하여 검색 질의를 만들고, 검색된 결과를 바탕으로 신뢰성 있는 답변을 생성합니다. 사용자의 질문에 대한 목표를 추론하고, 이에 연관된 다양한 정보들을 제공한다는 점에서 ‘목표 달성형 검색’이라고 할 수 있습니다.
어떻게 검색을 시작할지, 어떤 질의를 입력하고 검색을 이어 나가야 하는지 등 정확한 결과를 찾기 위해서 수행해야 할 검색 프로세스를 최적화하고, Multi-Step Reasoning, Planning 단계를 통해 사용자들에게 최적화된 검색 프로세스를 시각적으로 보여줌으로써, 누구에게나 설명 가능한 결과를 제공할 수 있기 때문입니다.
이러한 최적화된 검색 프로세스는 후속 질문에서도 경험할 수 있습니다. 후속 질문은 사용자가 추가 질문을 통해 목표를 달성할 수 있게 도와주는 장치인데요. 사용자의 취향이나 주위 환경에 대한 정보를 입력받고 어떤 목표를 가지고 있는지 추론한 뒤에, 질문이 생성되어야 합니다. 생성된 후속 질문이 선택되었을 때, 후속 질문에 대한 검색 결과 품질도 같이 고려할 수 있어야 하는데요. 목표 달성형 검색 데이터를 활용하면 이런 문제들을 해결할 수 있는 첫 발판을 만들 수 있을 것으로 기대하고 있습니다.
마지막으로, Cue:는 새로운 유형의 AI 검색으로써, 사용자들의 패턴을 받아들일 수 있는 몇 가지 장치들을 자체적으로 가지고 있습니다. 질문과 답을 이어 나가며 생성되는 대화의 흐름, Cue: 답변에 대한 피드백, 후속 질문 선택 등이 대표적인 예입니다. 목표 달성형 검색의 완성을 위해서, 사용자분들이 보내주시는 피드백은 소중히 사용할 예정입니다.
더 많은 정보를 담아
Cue:는 사용자의 의도에 맞게 쇼핑 정보, 플레이스 정보, 레시피 정보를 한눈에 보여줌으로써, 사용자가 원하는 결과를 더 빠르고 정확하게 전달할 수 있다는 장점이 있습니다. 하지만 아직 네이버의 사랑받는 서비스들을 다 Cue:에 녹여내지 못하여서 아쉬운 답변이 제공되기도 합니다. 이를 보완하기 위해 ‘네이버 부동산’, ‘네이버 항공권’ 같이 사용자들에게 유용한 서비스는 Cue:를 통해서도 결과를 확인할 수 있도록 개선할 예정입니다.
현재 Cue:는 사용자의 입력에 여러 가지 의도가 내포되어 있을 때, 가장 중요한 의도를 중점으로 답변을 만들어내고 있습니다. 예를 들어, ‘러닝을 잘하기 위한 방법 알려줘’라는 질문에는 러닝을 효과적으로 잘할 수 있는 방법만 보여주는 식입니다. 하지만 사용자가 필요로 하는 정보는 앞으로 더 다양해질 수 있기 때문에, 관련 정보를 더 풍부하게 보여줄 계획입니다. ‘러닝을 잘하기 위한 방법’에 대한 질문에 러닝 할 때 좋은 상품이나 러닝 할 때 좋은 장소까지 같이 보여주는 식입니다. 이처럼 도움이 되는 정보를 같이 노출할 수 있다면, 사용자들이 추가로 검색해야 하는 수고로움을 덜어줄 수 있을 것입니다.
더 다양한 형태의 검색으로
때로는 텍스트로 원하는 바를 충분히 설명하기 어려울 때도 있습니다. 적절한 사진을 올리거나 혹은 사진과 함께 짧은 텍스트를 입력하는 것이 필요하기도 합니다. 이미지, 음성, 혹은 동영상도 사용자에게는 자신이 원하는 바를 표현할 수 있는 좋은 채널입니다. 지금의 Cue:는 텍스트 정보만 받아들이고 있는데요. 입력된 텍스트가 우리가 살고 있는 세계에서 어떤 형태로 나타날 수 있는지 알려준다면, 사용자가 원하는 바를 좀 더 명확하게 이해할 수 있을 거라고 생각합니다.
텍스트에서 나타낸 개체들, 관습적 개념들이 어떤 이미지, 어떤 동영상으로 표현되는지 대역 관계를 학습할 수 있다면, 사진이나 동영상을 올려놓고서 여러 의도를 처리할 수 있을 것 같아요. 예를 들어, 요리 영상을 입력하면 요리의 레시피와 요리 팁 영상을 추천하거나 다친 부분을 사진으로 찍어서 입력하면 응급처치 방법과 함께 근처 병원을 소개하는 것까지 사용자들에게 보다 실용적인 도움을 줄 수 있을 것입니다. 현재 이미지, 음성, 동영상 입력을 처리할 수 있게끔 현재 다양한 연구가 진행 중이며, 이를 통해 사용자에게 한 발짝 더 친숙하게 다가갈 수 있기를 기대합니다.
검색, 더 편하게 더 똑똑하게 Cue:
검색이란 무엇인가?
'검색' 은 필요한 정보를 찾는 행위를 의미합니다. 그러나 오늘날 검색의 의미는 더 확장되었죠. 데이터를 찾아 분석하고 추론하고, 원하는 결론을 정립해 나가는 과정까지 포함되었습니다.
인터넷의 등장 이후, 검색은 당연하고 익숙한 행위가 되었으며, 인터넷에 접속하기만 하면 우리는 거의 모든 정보를 즉시 얻을 수 있는 세상에 살고 있습니다. 제품을 구매할 때, 스포츠 경기의 결과를 알아볼 때, 과제나 업무에 관한 정보를 원할 때, 우리는 검색을 합니다.
이 과정을 자세히 들여다보면, 우리가 원하는 정보를 얻기 위해 수행하는 검색 프로세스가 어떻게 동작하는지를 알 수 있습니다. 예를 들어, 네이버의 메인 화면에 있는 검색창에 우리가 찾고자 하는 정보의 키워드를 입력합니다. 네이버는 다양한 서비스와 웹 페이지에서, 우리가 원하는 정보를 제공할 가능성이 높은 링크들을 보여줍니다. 우리는 이러한 검색 결과를 확인하고, 원하는 정보를 가지고 있는 페이지를 찾아내기 위해 이 링크들을 하나씩 살펴봅니다. 검색 결과를 확인한 후에 우리는 만족스러운 정보를 얻으면 검색을 종료하게 됩니다. 하지만 때로는 원하는 정보를 얻지 못하고 다시 검색어를 수정하거나 다른 키워드로 검색을 반복해야 할 수도 있습니다. 이러한 과정을 반복하면서 우리는 원하는 정보를 찾아내게 됩니다. 이러한 검색 프로세스는 우리에게 익숙한 루틴 중 하나가 되었습니다.
혁신적 검색 서비스, Cue:
Cue:는 이러한 루틴을 벗어난 새로운 방식의 검색서비스입니다. 최신의 인공지능 기술 중 하나인 언어 모델(LLM)의 발전을 기반으로 새로운 검색의 패러다임이죠. 언어 모델을 통해 Cue:는 우리의 언어를 이해하고, 우리의 질문에 정확한 답을 제공할 수 있습니다. 이를 위해 Cue:는 검색을 위한 다양한 질의를 생성하고, 검색된 다양한 페이지의 내용을 요약하거나 정보를 추출하여 결과를 제공해 줍니다.
한마디로 Cue:는, 검색을 더 쉽고 효율적으로 만들어주는 혁신적인 서비스입니다. 키워드를 입력하고 결과를 찾는 대신, 우리는 구체적인 문장 형태로 질문을 할 수 있습니다. 원하는 정보를 더 상세히 요청하거나 추가 정보를 덧붙여도 문제없습니다. Cue:는 우리의 의도를 이해하고 정확한 답변을 제공하니까요.
예를 들어 볼까요?
"요즘 10대들 사이에서 유행하는 브랜드 백팩 추천해줘"라는 질문을 해보겠습니다. Cue:를 사용하면 복잡한 검색 과정들을 생략할 수 있게 됩니다. Cue:는 사용자가 원하는 결과가 무엇인지 이해하고 ‘10대 백팩 브랜드’, ‘10대 백팩 추천’, ‘요즘 10대 백팩 브랜드’ 등 사용자가 원하는 결과를 찾을 수 있는 검색어들을 생성하게 됩니다. 그 후 생성된 질의에 대해 각각 네이버 검색을 수행하여 결과를 취합한 뒤, 사용자가 구매를 원한다는 결론에 도달하여 바로 구매까지 이어질 수 있도록 네이버 쇼핑의 링크를 제공해 줍니다.
Cue:는 전문적인 지식이 필요한 분야에서도 유용하며, 다양한 정보를 요약하거나 비교하여 결론을 도출할 수 있습니다. 방대한 데이터 중 관련성이 높은 데이터를 찾아서 활용 가능한 정보로 정제하는 과정을 Cue:는 사용자 대신 수행하여, 보다 빠르고 효율적으로 원하는 정보를 찾을 수 있게 도와줍니다.
검색의 진화, 그 중심에 선 Cue:
검색은 끊임없이 진화하고 있으며, Cue:는 이러한 혁신의 중심에 서 있습니다. 검색을 단순한 키워드 입력을 넘어서 인간과 자연스럽게 상호작용하는 경험으로 바꿔주며, 이를 통해 이미 우리의 일상이 되어버린 검색은 한층 편리해질 것입니다.
네이버 서비스는 이미 다양한 형태로 사용자들의 삶을 편리하고 즐겁게 합니다. Cue:는 이러한 기존의 서비스들과 함께 더욱 정확하고 유용한 정보를 만들어 내고, 사용자들에 맞춰 더 정확하고 알맞은 정보를 제공할 것입니다.
