< VLNVerse 챌린지 우승팀‘URL-FRRS’. 왼쪽부터 명현 교수, 박주혜 박사과정, 공제이 석사과정, 이찬혁 석사과정, 성창기 박사(팀장), 홍다솔 박사과정(이상 KAIST 미래도시 로봇연구실), 이우주 박사, 최승민 실장(이상 ETRI 필드로봇연구실) >

“파란 소파를 찾아가.” 처음 들어간 건물에서도 사람의 말 한마디를 알아듣고 스스로 길을 찾은 뒤, 제대로 도착했는지까지 확인하는 로봇 기술이 국제 대회에서 잇달아 상위권에 올랐다. 우리 대학 연구팀은 로봇이 길을 찾는 데 그치지 않고 주변 상황을 이해하고, 자신의 판단이 맞는지 스스로 확인하는 기술을 선보였다.

우리 대학은 전기및전자공학부 명현 교수 미래도시 로봇연구실 연구팀이 세계적인 컴퓨터비전 학술대회 ECCV 2026(European Conference on Computer Vision)과 로보틱스 학술대회 RSS 2026(Robotics: Science and Systems)에서 열린 국제 챌린지에서 각각 1위와 2위를 차지했다고 16일 밝혔다.

< VLNVerse Challenge 2026 최종 순위 >

두 대회는 모두 로봇이 사람의 말을 이해하고 카메라로 주변을 살펴 스스로 판단해 움직이는 ‘체화 인공지능(Embodied AI)’ 능력을 겨룬다. 체화 인공지능은 질문에 답하는 AI에서 한발 더 나아가, 로봇이 실제 공간을 보고 판단해 직접 움직이는 기술이다.

먼저 명현 교수 연구팀과 한국전자통신연구원(ETRI, 원장 박세웅) 필드로봇연구실(실장 최승민)이 구성한 ‘URL-FRRS’ 팀은 지난 9월 9일 스웨덴 말뫼에서 열린 ECCV 2026 EMR 워크숍의 ‘VLNVerse 챌린지(Vision-Language Navigation Challenge)’에서 전 세계 112개 팀 가운데 1위를 차지했다.

이 대회에서는 “거실에 있는 파란 소파를 찾아가라”처럼 목적지만 알려주거나, “복도 끝에서 오른쪽으로 돌아 두 번째 문으로 들어가라”처럼 여러 단계의 지시를 주고 로봇이 제대로 목적지를 찾아가는지를 평가한다.

연구팀이 기존 로봇의 실패 원인을 분석한 결과, 의외로 길을 못 찾는 것보다 엉뚱한 곳에서 “도착했다”고 판단하는 경우가 많았다. 목적지를 지나치거나 비슷하게 생긴 다른 방을 목적지로 착각하는 식이다.

연구팀은 이에 로봇이 멈출 때 “여기가 정말 맞나?”라고 스스로 다시 확인하는 ‘CoRe-VLN(Coverage-based Recovery for VLN)’ 기술​을 개발했다.

로봇이 목적지라고 판단하면 주변을 다시 둘러보고, 글과 사진을 함께 이해하는 AI를 이용해 지시받은 장소가 맞는지, 찾던 물건의 색과 모양이 맞는지, 실제로 가까이 있는지를 확인한다. 사람이 약속 장소에 도착한 뒤 간판이나 주변 모습을 다시 살펴보는 것과 비슷하다.

목적지가 아니라고 판단하면 로봇은 새로운 길을 찾아 다시 움직인다. 별도의 추가 학습도 필요하지 않아 기존 로봇의 길 찾기 기술에 ‘스스로 확인하고 다시 찾는 능력’을 더한 셈이다.

< PRISM-Nav 결과 예시 >

그 결과 연구팀은 두 과제 평균 성공률 90.7%를 기록했다. 2위 팀과 성공률은 같았지만 제출 시각이 앞서 최종 1위를 차지했으며, 3위 팀은 89.7%를 기록했다.

우리 대학 연구팀은 지난 7월 호주 시드니에서 열린 RSS 2026 OWN 워크숍의 ‘내비트레이스 챌린지(NaviTrace Challenge)’에서도 2위를 차지했다.

이 대회에서는 로봇에게 사진 한 장과 “주차장 안으로 들어가라” 같은 짧은 명령만 주고 어느 길로 가야 하는지를 판단하게 한다.

사람은 주차장에 들어갈 때 노면 표시나 차량의 이동 방향을 보고 자연스럽게 입구와 출구를 구별한다. 하지만 명령에는 이런 설명이 없다. 로봇이 사람과 같은 공간에서 움직이려면 사람에게는 당연한 ‘보이지 않는 규칙’까지 주변을 보고 알아내야 한다.

연구팀은 이를 위해 하나의 AI에 모든 판단을 맡기는 대신 여러 AI가 역할을 나눠 협력하는 ‘PRISM-Nav’를 개발했다.

한 AI는 목적지를 찾고, 다른 AI는 계단이나 턱 같은 위험 요소를 살핀다. 또 다른 AI는 인도나 횡단보도처럼 사람이 지켜야 할 공간의 규칙을 파악한다. 마지막 AI가 이 정보를 모아 어느 길로 갈지를 결정한다.

마치 길을 찾는 사람, 위험을 살피는 사람, 교통규칙을 확인하는 사람이 함께 지도를 보고 가장 안전한 길을 정하는 것​과 비슷하다.

AI끼리 정보를 전달하는 방법도 단순하게 만들었다. 위치를 글이나 숫자로 길게 설명하는 대신 사진 위에 목적지와 위험지역을 직접 표시해 공유한다. 말로 길을 설명하는 대신 지도에 직접 표시해 건네주는 방식이다. 이 기술도 새로운 환경에 맞춰 AI를 다시 학습시킬 필요가 없다.

연구팀은 이 대회에서 53점을 기록해 난징대·파이브에이지스(FiveAges) 공동팀에 이어 2위에 올랐다.

< RSS 2026 내비트레이스 챌린지2위 수상 인증서 >

특히 상대적으로 저렴하고 가벼운 AI 모델인 ‘Gemini 3 Flash’를 여러 역할로 나눠 사용하면서 주최 측이 비교 대상으로 제시한 고성능 모델 ‘Gemini 3.1 Pro Preview’보다 높은 성능을 기록했다. 비싼 AI 하나에 모든 일을 맡기지 않고 가벼운 AI 여러 개가 협력해 성능과 비용을 함께 잡을 가능성을 보여준 것이다.

명현 교수는 “세계 연구진과 경쟁해 우리 기술의 가능성을 인정받아 기쁘다”며 “이번 성과는 별도의 추가 학습 없이도 AI가 낯선 환경에서 스스로 판단하고 움직일 수 있음을 보여준 것”이라고 말했다. 이어 “앞으로 길 찾기를 넘어 물건을 집고 옮기는 작업까지 확장해, 자신의 판단을 스스로 확인하고 바로잡는 로봇으로 발전시키겠다”고 밝혔다.

이번 연구가 발전하면 로봇이 단순히 사람의 명령을 수행하는 것을 넘어 “여기가 맞나?”, “이 물건이 맞나?”, “이렇게 움직여도 안전한가?”를 스스로 확인한 뒤 행동하는 로봇​으로 발전할 수 있다. 배송·안내 로봇뿐 아니라 물류·공장·병원 등 사람과 로봇이 함께 생활하고 일하는 다양한 공간에 활용될 것으로 기대된다.

한편 명현 교수 연구실은 지난 6월 로봇 분야 최고 학회인 ICRA 2026과 컴퓨터비전 분야 최고 학회인 CVPR 2026 국제 챌린지에서도 각각 1위를 차지한 바 있으며, 공간인지 기술에서 축적한 역량을 피지컬 AI 분야로 확장하고 있다.

이번 연구성과는 과학기술정보통신부 및 정보통신기획평가원의 ‘자율행동체 온디바이스 응용지원 핵심기술개발사업’(RS-2026-25520169, 세부3 ‘자율행동체의 이동 임무 수행을 위한 온디바이스 VLM 및 실시간 이동 지능 기술 개발’)의 지원을 받아 수행됐다.

※ EECV 대회 및 RSS 대회 영상: https://drive.google.com/drive/folders/19ixI7A68u5fTAqnqPY1U9glCVFlmQzeT

출처 : https://researchnews.kaist.ac.kr/researchnews/html/news/?mode=V&mng_no=67110