< (왼쪽부터) 송민석 석사과정, 박대형 교수 >

로봇이 전선, 의류, 고무줄처럼 형태가 자유롭게 변형되는 물체를 다루는 기술은 제조·서비스 산업 자동화의 핵심 과제로 꼽혀왔다. 그러나 이러한 변형 물체는 모양이 일정하지 않고 움직임을 예측하기 어려워, 로봇이 이를 정확히 인식하고 조작하는 데 큰 어려움이 있었다. KAIST 연구진이 불완전한 시각 정보만으로도 변형 물체의 상태를 정밀하게 파악하고 능숙하게 다룰 수 있는 로봇 기술을 개발했다. 이번 성과는 케이블 및 전선 조립, 부드러운 부품을 다루는 제조업, 의류 정리와 포장 등 다양한 산업 및 서비스 분야의 지능형 자동화에 기여할 것으로 기대된다.

우리대학 전산학부 박대형 교수 연구팀이 탄성 밴드처럼 형태가 연속적으로 변하고, 시각적으로 형태를 구별하기 어려운 물체도 로봇이 능숙하게 다룰 수 있게 하는 인공지능 기술인‘INR-DOM(아이엔알-돔, Implicit Neural-Representation for Deformable Object Manipulation)’을 개발했다고 21일 밝혔다.

박 교수 연구팀은 로봇이 관측한 부분적인 3차원 정보만으로 변형 가능한 물체의 전체 형상을 완전하게 복원하고, 이를 바탕으로 로봇의 조작 방식을 학습하는 기술을 개발했다. 

또한, 로봇이 특정 과제를 효율적으로 학습할 수 있도록 강화학습과 대조학습을 결합한 새로운 2단계 학습 구조를 도입했다. 학습된 제어기는 시뮬레이션 환경에서 기존 기술 대비 월등히 높은 과제 성공률을 달성했으며, 실제 로봇 실험에서도 복잡하게 얽힌 고무줄을 풀어내는 등 높은 수준의 조작 능력을 선보여 변형 물체를 다루는 로봇의 적용 범위를 크게 넓힐 것으로 기대된다.

변형 물체 조작(Deformable Object Manipulation, DOM)은 로봇 공학의 오랜 난제 중 하나다. 변형 물체는 무한한 자유도를 가져 움직임을 예측하기 어렵고, 스스로 일부를 가리는 자기-가림(self-occlusion) 현상으로 인해 로봇이 전체적인 상태를 파악하기 어렵기 때문이다.

이러한 문제를 해결하기 위해 변형 물체 상태 표현법과 강화학습에 기반한 제어 기술이 널리 연구되고 있었다. 그러나 기존의 상태표현법은 변형 물체의 연속적으로 변형되는 표면이나 복잡한 3차원 구조를 정확히 표현하지 못했고, 상태 표현과 강화학습이 분리돼 물체 조작에 필요한 적합한 상태 표현공간을 구성하는 데 한계가 있었다.

< 그림 1. (위부터) 로봇팔이 고무링을 홈에 끼우는 실링(sealing) 작업, O링을 실린더에 장착하는 설치(installation) 작업, 두 기둥 사이에 꼬인 고무줄을 푸는 분리(disentanglement) 작업. INR-DOM은 부분적인 관측 정보만으로 물체의 꼬인 상태를 정확히 파악하고 과제를 성공적으로 수행했다. >

연구팀은 이러한 한계를 극복하기 위해 ‘잠재 신경 표현(Implicit Neural Representation)’을 활용했다. 이 기술은 로봇이 관측한 부분적인 3차원 정보(점 구름, point cloud*)를 입력받아, 보이지 않는 부분을 포함한 물체의 전체 형상을 연속적인 곡면(부호화 거리 함수, SDF)으로 재구성한다. 이를 통해 로봇은 마치 사람처럼 물체의 전체적인 모습을 상상하고 이해할 수 있게 된다.

*점 구름 3차원 정보: 물체의 3차원 형상을 ‘표면을 찍은 점들의 집합’으로 표현하는 방식

나아가 연구팀은 2단계 학습 프레임워크를 도입했다. 1단계 사전학습에서는 불완전한 점 구름으로부터 완전한 형상을 복원하는 모델을 학습시켜, 가려짐에 강인하고 늘어나는 물체의 표면을 잘 나타내는 상태 표현 모듈을 확보한다.   2단계 미세조정에서는 강화학습과 대조학습을 함께 이용해, 로봇이 현재 상태와 목표 상태 간의 미묘한 차이를 명확히 구분하고 과제 수행에 필요한 최적의 행동을 효율적으로 찾아내도록 제어 정책과 상태 표현 모듈을 최적화한다.

연구팀이 개발한 INR-DOM 기술을 로봇에 탑재해 실험한 결과, 시뮬레이션 환경에서 고무링을 홈에 끼우거나(sealing), O링을 부품에 설치하거나(installation), 꼬인 고무줄을 푸는(disentanglement) 세 가지 복잡한 과제에서 모두 기존 최고 성능의 기술들보다 월등히 높은 성공률을 보였다. 특히 가장 어려운 과제였던 풀기(disentanglement) 작업에서는 성공률이 75%에 달해, 기존 최고 기술(ACID, 26%)보다 약 49% 높은 성과를 거뒀다.

< 그림 2. INR-DOM은 2단계 학습 과정을 거친다. 1단계(사전학습)에서는 부분적인 점구름(point cloud) 데이터로부터 물체의 완전한 3차원 형상을 복원하는 모델을 학습한다. 2단계(미세조정)에서는 강화학습과 대조학습을 이용해 특정 과제에 최적화된 조작 정책을 효율적으로 학습한다. >

연구팀은 INR-DOM 기술이 실제 환경에서도 적용 가능함을 검증하기 위해 샘플 효율적인 로봇 강화학습 기법(sample-efficient robotic reinforcement learning)과 INR-DOM을 결합해 실환경 강화학습을 수행했다. 

그 결과, 실제 환경에서의 끼우기, 설치, 풀기 작업을 90% 이상의 성공률로 수행했으며, 특히 시각적으로 구별이 어려운 양방향 꼬임 풀기 작업에서 기존 이미지 기반 강화학습 기법 대비 25% 더 높은 성공률을 기록해 시각적 모호성에도 불구하고 강인한 조작이 가능함을 입증했다.

제1 저자인 송민석 연구원은 "이번 연구는 로봇이 불완전한 정보만으로도 변형 물체의 전체 모습을 이해하고, 이를 바탕으로 복잡한 조작을 수행할 수 있다는 가능성을 보여줬다”라며, "제조, 물류, 의료 등 다양한 분야에서 인간과 협력하거나 인간을 대신해 정교한 작업을 수행하는 로봇 기술 발전에 크게 기여할 것”이라고 말했다.

KAIST 전산학부 송민석 석사과정이 제1 저자로 참여한 이번 연구는 지난 6월 21~25일 LA USC에서 개최된 로봇 공학 분야 최상위 국제 학술대회인 ‘로보틱스: 사이언스 앤 시스템즈 (Robotics: Science and Systems, RSS) 2025’에서 발표됐다.

※논문명: Implicit Neural-Representation Learning for Elastic Deformable-Object Manipulations

※DOI: https://www.roboticsproceedings.org/(공개 예정), 현재는 https://arxiv.org/abs/2505.00500

한편, 이번 연구는 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원(IITP)의 ‘복합지능 자율행동체 SW 핵심기술 개발 사업’(RS-2024-00336738;자율행동체의 복합작업 자율 수행을 위한 임무 수행 절차 생성 기술 개발), ‘사람중심인공지능핵심원천기술개발’(RS-2022-II220311;일상적 물건들의 다접촉 로봇 조작을 위한 목적지향 강화학습 기술 개발), ‘컴퓨팅핵심기술’(RS-2024-00509279;글로벌AI프론티어랩)과 삼성전자의 지원을 받아 수행되었다. 자세한 내용은 https://inr-dom.github.io 에서 볼 수 있다.