< (왼쪽부터) 김선우 박사과정, 황현진 석박사통합과정, 신기정 부교수 >

목표 과업에 좋은 성능을 보이는 신경망 구조를 찾는 것은 큰 비용이 소요되어, 신경망의 성능을 효율적으로 예측하는 방법론이 활발히 연구되었다. 우리 대학 김재철AI대학원 소속 김선우 박사과정, 황현진 석박통합과정(지도교수 신기정)은 그래프 기반 사전학습을 이용하여, 기존의 효과적인 방법론의 성능을 개선하면서, 약 43배 빠른 예측 속도를 보이는 예측 기법을 개발하였다.

인공지능 모델은 최근 다양한 분야에서 괄목할 성과를 거두었지만, 모델의 신경망 구조가 해당 모델의 성능에 영향을 크게 미치는 특징이 있다. 그러나 목표 과업에 적합한 신경망 구조를 알고자 직접적으로 해당 신경망 구조를 학습 및 평가하는 방식은 큰 비용이 소요된다. 이를 해결하기 위해, 다른 인공지능 모델을 사용하여 특정 신경망 구조의 성능을 예측하는 방식이 사용되었다. 경량화된 예측 모델은 예측 속도는 빠르나 예측 성능이 낮다는 한계가 있었고, 최근 개발된 방법론은 예측 정확도는 높으나 예측 속도가 매우 느린 문제가 있었다. 

우리 대학 김재철AI대학원 소속 김선우 박사과정, 황현진 석박통합과정(지도교수 신기정)은 경량화된 예측 모델에 특수한 그래프 기반 사전학습 방식을 적용하여, 해당 모델이 최근 방법론만큼의 예측 성능을 보이도록 개선하면서, 빠른 예측 속도를 유지하도록 하는 데 성공하였다. 

연구팀이 제안한 FGP라는 그래프 기반 사전학습 기법은, 신경망 모델이 갖는 주요한 특징인 정보 흐름을 예측 모델이 포착할 수 있도록 하는 방식이다. 정보 흐름이란 신경망 내 순전파와 역전파를 의미하는 개념으로, 인공지능 모델의 학습에 핵심적이다. 연구팀은 그래프로 표현된 신경망 구조에서 위상 순서에 따라 벡터를 전파 시켜, 해당 신경망 구조의 정보 흐름을 모사한 표현 벡터를 생성하였다. 이후 신경망 성능 예측 모델은 해당 표현 벡터를 생성하는 사전학습 과정을 거치면서, 신경망의 정보 흐름을 포착하는 방식을 학습하게 된다. 

연구팀을 다양한 실험을 통해 경량화된 예측 모델이 최신 모델보다 약 43배 빠르게 예측을 수행하면서, 최신 모델 대비 개선된 예측 성능을 보이는 것을 검증하였으며, 기존 사전학습 방법론과 비교하여도 성능 예측 과업 및 신경망 탐색 과업 등 다양한 응용 분야에서 더 효과적임을 검증하였다.

김선우 연구원은 “그래프의 위상 순서를 적절히 응용한 것이 본 방법론의 핵심”이라고 설명했다. 또한 “이 아이디어가 신경망 구조를 나타내는 그래프뿐만이 아니라, 위상 순서가 존재하는 그래프로 표현될 수 있는 다양한 데이터로 확장될 수 있기에, 더 넓은 분야에서 응용되기를 기대한다”고 덧붙였다.

본 연구는 인공지능 분야에서 권위 있는 국제 학술대회인 제39회 신경망 정보 처리 시스템 학회(39th Conference on Neural Information Processing System, 약칭 NeurIPS 2025)에 “Learning to Flow from Generative Pretext Tasks for Neural Architecture Encoding”이라는 제목으로 출판될 예정이다. 

이 성과는 정보통신기획평가원의 지원을 받은 “강건하고 공정하며 확장 가능한 데이터 중심의 연속 학습 과제”과제, “인공지능 자율성장을 위한 멀티에이전트 기반 복합지능 강화 기술 개발”과제, “AI 거점 연구 프로젝트”과제의 성과다.

출처 : https://researchnews.kaist.ac.kr/researchnews/html/news/?mode=V&mng_no=54370&skey=&sval=&list_s_date=&list_e_date=&GotoPage=3