< (왼쪽부터) KAIST 전산학부 김현진 박사과정, 전산학부 이재길 교수. 우측 상단 개별 사진은 왼쪽부터 토론토대학교 남영은 박사후연구원, KAIST 데이터사이언스대학원 한재민 석사과정, KAIST 데이터사이언스대학원 최원혁 석사과정 >

10시간 걸리던 AI 추가 학습을 약 3시간 만에 끝낼 수 있을까? 우리 대학 연구진이 기존 AI에 의료·코딩 등 특정 분야를 가르칠 때, 학습 효과가 비슷한 자료는 추려내고 다양한 자료를 여러 GPU에 고르게 나눠주는 기술을 개발했다. 반복 학습을 줄여 AI 성능은 거의 유지하면서 학습 시간을 최대 69.6% 단축했다. 기업별 고객 상담이나 의료진의 정보 확인을 돕는 AI를 더 빠르고 적은 비용으로 개발하는 데 도움이 될 것으로 기대된다.

우리 대학은 전산학부 이재길 교수 연구팀이 학습에 비슷한 영향을 주는 데이터를 묶어 선별하고, 여러 GPU에 골고루 배분하는 대규모 언어모델 미세조정 기술 ‘CluSTER(클러스터)’를 개발했다고 2일 밝혔다.

대규모 언어모델을 코딩이나 의료 등 특정 분야에 활용하려면 관련 자료를 추가로 학습시켜야 한다. 이를 ‘미세조정’이라고 한다. 폭넓은 지식을 갖춘 AI에게 코딩 문제와 풀이, 의료 분야의 질문과 답변 등을 공부시켜 해당 분야의 일을 더 잘하도록 만드는 과정이다.

이 과정에는 많은 계산이 필요해 여러 GPU가 데이터를 나눠 처리한다. GPU는 AI 학습에 필요한 계산을 빠르게 수행하는 반도체다. 여러 사람이 많은 문제를 나눠 풀듯, 여러 GPU가 학습 자료를 나눠 처리하고 그 결과를 합쳐 하나의 AI 모델을 개선한다.

< 연구팀에서 개발한 군집 기반 균형 데이터 선별 및 배분 방법론의 작동 개념도 >

그러나 자료를 무작위로 나누면 학습 효과가 비슷한 데이터를 여러 GPU가 반복해서 처리할 수 있다. 학생이 이미 풀이를 익힌 문제와 비슷한 문제만 계속 푸는 것처럼, 계산량에 비해 추가로 얻는 학습 효과가 작아질 수 있는 것이다.

연구팀은 ‘얼마나 많은 자료를 공부시키느냐’와 함께 ‘어떤 자료를 골라 어떻게 나눠주느냐’에 주목했다. 반복되는 학습은 줄이면서도 AI가 배워야 할 다양한 정보를 놓치지 않도록 한 것이다.

CluSTER는 먼저 각 데이터가 AI 학습에 미치는 영향을 분석해 비슷한 데이터끼리 묶는다. 단순히 같은 주제를 다루거나 비슷한 단어를 사용하는지를 기준으로 삼는 것은 아니다. 겉으로 다른 문제라도 AI에게 비슷한 풀이 능력을 가르친다면 같은 묶음으로 분류하는 방식이다.

예를 들어 학생에게 덧셈을 가르칠 때 ‘사과 두 개와 세 개를 합치는 문제’와 ‘연필 두 자루와 세 자루를 합치는 문제’는 이야기는 달라도 익히는 계산 방법은 같다. 연구팀은 이처럼 표현이 달라도 학습에 비슷한 영향을 주는 자료를 찾아 묶었다.

이후 각 묶음에서 데이터를 선별하고, 여러 GPU가 다양한 학습 정보를 골고루 처리하도록 배분했다. 문제집에서 비슷한 문제는 줄이되, 꼭 익혀야 할 여러 유형의 문제는 빠짐없이 남겨 나눠 푸는 것과 같다. 데이터의 양을 줄이는 데 그치지 않고, 선택한 데이터를 여러 GPU가 효율적으로 활용하도록 한 것이 특징이다.

연구팀은 코딩·의료 분야의 학습 데이터 3종을 활용해 약 70억 개와 130억 개의 매개변수를 가진 대규모 언어모델을 미세조정했다. 매개변수는 AI가 학습하면서 조정하는 내부 수치로, 학습한 지식을 답변에 반영하는 데 쓰인다. 연구팀은 총 8개의 성능 평가 시험을 통해 기술의 효과를 확인했다.

실험에서는 전체 데이터의 약 31%만 선별해 학습해도 모델 성능을 거의 유지했으며, 학습 시간을 최대 69.6% 단축했다. 최대 단축률을 적용하면 기존에 10시간이 걸리던 학습을 약 3시간 만에 마칠 수 있는 수준이다. 연구팀은 GPU 4개를 사용하는 환경을 중심으로 실험했으며, GPU 8개 환경에서도 기존 방식보다 우수한 성능을 확인했다.

이번 연구는 GPU를 더 많이 투입하지 않아도 학습 자료를 잘 고르고 배분하면 AI 학습의 효율을 높일 수 있음을 보여준다. 향후 기업과 연구 기관이 코딩 지원이나 의료 분야의 질문·답변 등 특정 목적에 맞는 AI를 개발할 때, 추가 학습에 드는 시간과 GPU 사용 비용을 줄이는 데 도움이 될 것으로 기대된다.

< 연구이미지(AI 생성) >

이재길 교수는 “AI 학습의 효율을 높이기 위해서는 GPU를 더 많이 사용하는 것뿐 아니라, 어떤 데이터를 학습할지 똑똑하게 선택하는 것도 중요하다”며 “이번 연구는 기존 GPU 자원을 더 효율적으로 활용해 대규모 AI 모델의 학습 부담을 줄일 수 있다는 점에서 의미가 있다”고 말했다.

이번 연구에는 KAIST 전산학부 김현진 박사과정 학생이 제1저자로, 이재길 교수가 교신저자로 참여했다. 토론토대학교 남영은 박사후연구원과 KAIST 데이터사이언스대학원 한재민·최원혁 석사과정 학생이 공동저자로 참여했다. 연구 결과는 자연어처리 분야 주요 국제학술대회인 ‘자연어처리의 경험적 방법론 학술대회(EMNLP 2026, Conference on Empirical Methods in Natural Language Processing)’에서 2026년 10월 발표됐다.

※ 논문명: Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning, 논문 링크: https://arxiv.org/pdf/2609.12584
※ 저자정보: 김현진 박사과정(KAIST 전산학부, 제1저자), 남영은 박사후연구원(KAIST 졸업, 현 토론토대학교, 공동저자), 한재민 석사과정(KAIST 데이터사이언스대학원, 공동저자), 최원혁 석사과정(KAIST 데이터사이언스대학원, 공동저자), 이재길 교수(KAIST 전산학부, 교신저자)

이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원의 지원을 받아 SW컴퓨팅산업원천기술개발사업 SW스타랩 과제로 수행됐다. 과제명은 ‘DB4DL: 딥러닝 지원 고사용성 및 고성능 분산 인메모리 DBMS 개발’이다(RS-2020-II200862).

출처 : https://researchnews.kaist.ac.kr/researchnews/html/news/?mode=V&mng_no=68950