< (오른쪽부터) 우운택 교수, 대회 관계자, 백민주 박사과정생, 신윤석 석사과정성, 김두영 박사, 윤상호 교수, 이현진 박사, 대회 관계자 >

KAIST·국제 연구진이 원격지의 사람들을 마치 한 공간에 있는 것처럼 연결하고, 표정과 감각까지 공유할 수 있는 차세대 가상 소통 기술의 가능성을 제시했다.

KAIST(총장 이광형)는 메타버스대학원 우운택 교수 연구팀은 KI AR연구센터, 캐나다 캘거리대(University of Calgary) 김강수 교수팀, 미국 서던캘리포니아대(University of Southern California) 조나단 그래츠(Jonathan Gratch) 교수팀과 공동 연구를 진행하며, 현실과 가상의 경계를 허물고 사람 간의 소통 방식을 감성적으로 확장하는 확장현실(XR) 기술 연구 성과를 잇따라 발표했다고 7일 밝혔다.

연구팀은 ‘시공간을 넘어 서로의 경험을 확장하고 공유하는’ 현실–가상 융합의 미래를 구체적으로 보여주었다.

< (오른쪽부터) 대회관계자, 김강수 교수, 강서영 박사과정생, 김두영 박사, 대회 관계자 >

예를 들어, 제안하는 기술들이 기반이 되어 XR 기기 및 컴퓨팅 기술이 더욱 발전한다면, 대전에 있는 사용자가 뉴욕 메트로폴리탄 미술관을 실제처럼 정합하고 실제 사람을 닮은 아바타를 통해 표정 변화를 전달하며 현지 관람객과 전시를 함께 즐기는 미래를 상상해볼 수 있다. 나아가 햅틱 장갑과 시각·청각 피드백 기술이 결합되면, 실제로는 만질 수 없는 가상 유물의 질감을 보다 실감있게 체험할 수 있을 것이다.

XR 안경을 착용하지 않은 사람들조차 대형 디스플레이를 통해 3차원 전시 공간을 함께 체험할 수 있게 함으로써, 단순한 정보 전달을 넘어 감각과 공간이 연결되는 새로운 형태의 원격 협업 및 소통 환경을 여는 기반 기술이 될 것으로 기대된다.

감성 기반 XR 기술의 네 가지 혁신적 성과는 다음과 같다.

첫째, ‘다중 원격 공간 정합 기술’은 멀리 떨어진 다수의 공간을 하나의   협업 공간으로 정합하는 알고리즘을 개발해, 공간 수가 많아져도 안정적으로 공동 작업이 가능한 환경을 구현했다.

※ 연구책임자: 김두영 박사 (KAIST AR연구센터), 발표 학회: IEEE ISMAR 2024 (2024.10.23.) ※ 논문명: Spatial Affordance-aware Interactable Subspace Allocation for Mixed Reality Telepresence, (DOI: 10.1109/ISMAR62088.2024.00142)

< a) 서로 다른 공간 정합 기술(김두영 박사), b) 실제 사람-아바타 얼굴 표정 표현(강서영 박사과정), 시각-촉각 융합 피드백(백민주 박사과정), d) 대형화면 3D 공간 경험 연구(김두영 박사) >

둘째, 사람-아바타 변형 시의 ‘맥락 인지형 표현 시스템’은 실제 사람을 아바타로 변형하는 과정에서의  상황과 맥락에 따라 표정과 정체성을 자연스럽게 조정할 수 있는 시스템 설계 방향을 제안했다.

※ 연구책임자: 강서영 박사과정 (KAIST), 발표 학회: IEEE VR 2025 (2025.3.12.) ※ 논문명: How Collaboration Context and Personality Traits Shape the Social Norms of Human-to-Avatar Identity Representation, (DOI: 10.1109/TVCG.2025.3549904)

셋째, 시각–촉각 융합 피드백을 통해 가상객체의 감정적 촉감 경험을 구현한 연구는 손의 시각 피드백과 촉각 자극을 결합해 표면 질감과 감정적 반응을 재현함으로써, 단순한 진동 자극을 넘어 감정이 느껴지는 ‘촉각 몰입감’을 구현했다.

※ 연구책임자: 백민주 박사과정 (KAIST), 공동연구자: 윤상호 교수팀, 발표 학회: IEEE ISMAR 2025 (2025.10.11.), 논문명: Visuo-Tactile Feedback with Hand Outline Styles for Modulating Affective Roughness Perception, (DOI: 10.1109/TVCG.2025.3616805)

넷째, 대형 화면 기반 3D 공간 경험 기술은 별도 장비 없이 대형 디스플레이에서 깊이감을 느낄 수 있는 기술을 개발, 박물관·전시관 등 공공 공간에서 여러 관람객이 특수 안경 없이도 3D를 함께 경험할 수 있는 기반 기술을 제안했다.

※ 연구책임자: 김두영 박사 (KAIST AR연구센터), 발표 학회: IEEE ISMAR 2025 (2025.10.11.) ※ 논문명: Viewpoint-Tolerant Depth Perception for Shared Extended Space Experience on Wall-Sized Display, (DOI: 10.1109/TVCG.2025.3616758)

우운택 교수는 “이번 연구들은 시공간을 넘어 서로의 경험을 확장하고 공유하는 방법을 제시한 XR 연구”라며, “이는 대전에서도 전 세계의 재미(Jami=fun)를 경험하고, K-문화를 세계로 확산하는 ‘뉴잼(New Jam) 대전 연구’의 핵심 기반이 될 것”이라고 강조했다.

< 첫 번째상. 혼합현실 학술대회(ISMAR) 다중 원격 공간 정합 연구 최우수 논문상(2024.10.23. 수상) >

KAIST 연구팀은 네 가지 혁신 XR 연구들을 통해 IEEE ISMAR 2024·2025 및 IEEE VR 2025에서 총 네 편의 최우수 논문상(Best Paper Award)을 수상했다.

(IEEE VR: 국제전기전자공학회 가상현실학회, IEEE ISMAR: 국제전기전자공학회 혼합현실학술대회)

이 상은 매년 상위 1% 논문에만 수여되는 영예로운 성과로, ISMAR 2024에서는 627편 중 6편, VR 2025에서는 785편 중 7편, ISMAR 2025에서는 763편 중 7편만이 선정됐다.

특히 ISMAR 2025 학회는 대전에서 개최되었으며, 우운택 교수와 한양대 박종일 교수가 공동 조직위원장으로 참여했다. 35개국 830명 이상의 연구자가 참여해 역대 최대 규모를 기록, 한국의 가상융합 기술 위상을 한층 높였다.