< (왼쪽부터) KAIST 정보전자연구소 이영준 박사, 전산학부 이재길 교수, 우측 상단 개별 사진 왼쪽부터 Amazon 김도영 박사, LG AI연구원 강준혁 박사, KAIST 산업및시스템공학과 송환준 교수 >

어려운 문제를 풀 때마다 전문가에게 다시 묻는 대신, 한 번 배운 풀이를 공책에 적어두고 비슷한 문제에 활용하는 AI 기술이 나왔다. 우리 대학 연구진은 스마트폰 속 소형 AI가 서버의 대형 AI에게서 얻은 지식을 기기에 쌓아두고 재사용하도록 해, 높은 정확도를 유지하면서 서버 호출을 평균 55.61% 줄였다. 비슷한 문제를 만날수록 서버에 덜 의존하고 더 빠르게 판단하는 모바일 AI의 가능성을 제시한 것이다.

우리 대학은 전산학부 이재길 교수 연구팀이 기기의 소형 AI와 서버의 대형 AI를 효율적으로 연결하는 기기-서버 협업 기술 ‘CURE(Cumulative Knowledge Reuse, 누적 지식 재사용)’를 개발했다고 21일 밝혔다.

스마트폰과 같은 기기는 계산 능력과 메모리가 제한돼 가벼운 소형 AI 모델을 주로 사용한다. 소형 모델은 간단한 문제는 빠르게 처리하지만, 복잡하거나 낯선 이미지를 구분할 때는 정확도가 떨어질 수 있다.

반대로 모든 문제를 고성능 서버의 대형 AI에 맡기면 정확도를 높일 수 있지만, 데이터를 보내고 답을 기다리는 시간이 길어진다. 통신량과 서버 연산량도 늘어나 이용자의 대기 시간과 서비스 운영 비용이 커진다.

이를 보완하기 위해 기기의 소형 AI가 먼저 판단하고 어려운 문제만 서버로 보내는 협업 방식이 연구돼 왔다. 그러나 기존 방식은 서버에서 받은 답을 그때만 사용하기 때문에, 비슷한 문제가 다시 들어와도 서버에 같은 도움을 반복해서 요청해야 했다. 마치 학생이 어려운 문제의 답을 듣고도 기록해 두지 않아, 같은 유형의 문제를 만날 때마다 다시 물어보는 것과 같다. 연구팀은 서버가 알려준 답을 일회성으로 사용하지 않고, 기기가 이후에도 활용할 수 있는 지식으로 축적하는 데 주목했다.

CURE는 먼저 기기의 소형 AI가 입력을 스스로 처리할 수 있는지 판단한다. 해결하기 어렵다면 기기에 저장된 서버 지식을 활용하고, 저장된 지식으로도 부족할 때만 서버에 도움을 요청한다. ‘혼자 풀기→배운 내용 찾아보기→전문가에게 묻기’의 3단계로 문제를 처리하는 방식이다.

예를 들어 소형 AI가 사진 속 특정 차종을 구분하지 못하면 서버의 대형 AI에 답을 요청한다. 이때 CURE는 서버의 판단 결과와 이미지의 특징을 기기의 지식 저장소에 반영한다. 이후 비슷한 차종의 사진이 들어오면 앞서 저장한 지식을 참고해 서버에 다시 묻지 않고 기기에서 직접 판단한다.

< 기존 기기-서버 협업 방식 vs CURE 프레임워크의 비교 >

특히 CURE는 서버가 처리한 사진을 하나씩 그대로 저장하지 않는다. 여러 사진이 공유하는 특징과 서로 다른 점을 요약해 지식으로 보관한다. 자동차 사진을 통째로 외우는 대신 차체 모양이나 전조등처럼 차종을 구분하는 핵심 특징을 정리해 두는 것과 같다. 이를 통해 이전에 본 사진뿐 아니라 처음 접하는 유사한 사진을 판단할 때도 축적된 지식을 활용할 수 있다.

연구팀은 이미지와 글을 함께 이해하는 ‘비전-언어 모델’을 이용해 CURE의 성능을 검증했다. 비전-언어 모델은 사람처럼 이미지를 보고, 그 내용을 언어와 연결해 이해하는 AI다.

기기용 소형 모델로는 MobileCLIP2를, 서버용 대형 모델로는 180억 개의 매개변수를 가진 EVA-CLIP을 사용했다. 매개변수는 AI가 학습 과정에서 익힌 정보를 담고 있는 내부 수치로, 사물을 구분하고 관계를 판단할 때 활용하는 ‘판단 기준’과 같다.

다양한 이미지 분류 데이터셋을 이용한 실험에서 CURE는 모든 입력을 대형 서버 모델로 처리하는 방식에 근접한 정확도를 유지했다. 그러면서 서버의 지식을 축적하지 않는 기존 기기-서버 협업 방식보다 서버 호출 횟수를 평균 55.61% 줄였다.

처리 속도는 기존 기기-서버 협업 방식보다 최대 2.80배 빨랐으며, 모든 입력을 서버로 보내는 방식보다 최대 3.67배 빨랐다. 서버에 묻는 횟수를 줄여 데이터를 주고받고 답을 기다리는 시간을 단축한 결과다.

CURE는 소형 모델과 서버 모델을 별도로 다시 학습시키지 않고도 적용할 수 있다. 기존 AI 모델은 그대로 두고 서버에서 얻은 지식을 담는 별도의 저장소를 붙이는 방식이어서, 다양한 AI 모델과 서비스에 유연하게 적용할 수 있다는 것도 장점이다.

이번 기술은 모바일 사진 인식과 이미지 검색 등에서 반복적인 데이터 전송과 서버 연산을 줄여 이용자의 대기 시간과 서비스 운영 부담을 낮추는 데 활용될 수 있다.

스마트폰뿐 아니라 제한된 기기 자원으로 주변 환경을 인식해야 하는 로봇과 웨어러블 기기에도 응용할 수 있다. 특히 통신이 느리거나 불안정한 환경에서 로봇이 서버의 답을 기다리지 않고, 이전에 얻은 지식을 바탕으로 더 많은 상황을 현장에서 직접 판단하는 데 도움을 줄 수 있다.

< 연구 이미지(AI 생성) >

다만 실제 적용 효과는 기기의 성능과 저장 공간, 통신 환경, 입력 데이터의 특성 등에 따라 달라질 수 있어 다양한 기기와 환경에서 추가 검증이 필요하다.

이재길 교수는 “CURE는 기기의 소형 AI가 서버에 같은 문제를 반복해서 묻지 않고, 한 번 얻은 지식을 기억해 다시 활용하도록 한 기술”이라며 “높은 정확도를 유지하면서 통신 부담과 응답 시간을 줄여 스마트폰과 로봇, 웨어러블 등 다양한 기기에서 고성능 AI를 효율적으로 활용하는 기반이 될 것으로 기대한다”고 말했다.

이번 연구에는 KAIST 정보전자연구소 이영준 박사후연구원이 제1저자로, 전산학부 이재길 교수가 교신저자로 참여했다. Amazon 김도영 연구원, LG AI연구원 강준혁 연구원, KAIST 산업및시스템공학과 송환준 교수가 공동저자로 참여했다. 연구 결과는 지난 9월 8일부터 12일까지 스웨덴 말뫼에서 열린 컴퓨터 비전 분야 주요 국제학술대회 ‘유럽컴퓨터비전학회(ECCV 2026, European Conference on Computer Vision)’에서 10일 발표됐다.

※ 논문명: CURE: Cumulative Knowledge Reuse for Efficient Device-Server Hybrid Inference in Vision-Language Models, DOI: https://doi.org/10.1007/978-3-032-37627-5_21
※ 저자정보: 이영준 박사후연구원(KAIST 정보전자연구소, 제1저자), 김도영 연구원(KAIST 졸업, 현 Amazon, 공동저자), 강준혁 연구원(KAIST 졸업, 현 LG AI연구원, 공동저자), 송환준 교수(KAIST 산업및시스템공학과, 공동저자), 이재길 교수(KAIST 전산학부, 교신저자)
※ 관련 영상 링크: https://drive.google.com/file/d/1oIn-eYW4IEI_dOFWeTeaDotf1IBDjRLt/view?usp=share_link

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원의 ‘사람중심인공지능핵심원천기술개발사업’ 중 ‘AI학습능력개선기술개발’ 과제(과제번호 RS-2022-II220157)의 지원 등을 받아 수행됐다.

출처 : https://researchnews.kaist.ac.kr/researchnews/html/news/?mode=V&mng_no=67310