카이스트, LLM 미세조정 기법 'CluSTER' 개발…학습 시간 최대 69.6% 단축
카이스트 연구진이 유사 효과 데이터를 묶어 선별하는 CluSTER로 전체 데이터의 약 31%만 써서 성능을 거의 유지했다.
카이스트(KAIST)가 2026년 11월 2일, 대규모언어모델(LLM) 미세조정 기법인 CluSTER를 개발했다고 밝혔다. 이 기법은 모델 성능을 거의 유지하면서 추가 학습 시간을 최대 69.6% 줄인다.
CluSTER는 학습 효과가 비슷한 데이터를 그룹으로 묶고, 각 그룹에서 필요한 데이터만 골라 여러 GPU에 고르게 분배하는 방식이다. 이를 통해 중복 학습을 줄인다.
연구진은 코딩과 의료 분야의 데이터셋 3종으로 약 70억 개와 130억 개 파라미터 규모의 LLM을 미세조정했으며, 8가지 성능 평가로 기법을 검증했다. 전체 데이터의 약 31%만 사용하고도 모델 성능이 거의 유지됐고, 학습 시간은 최대 69.6% 줄어 10시간 걸리던 학습이 약 3시간으로 단축됐다.
실험은 4개 GPU 환경을 중심으로 진행됐으며, 8개 GPU 환경에서도 기존 방법보다 나은 성능을 보였다. 연구는 카이스트 전산학부 이재길 교수가 이끌었고, 같은 학부 박사과정 김현진 씨가 제1저자로 참여했다. 이 같은 내용은 디지털투데이가 전했다.
EMNLP 2026에서 발표
연구 결과는 2026년 10월 국제 자연어처리 학회인 EMNLP 2026에서 발표됐다.
한눈에 보기
CluSTER는 어떤 원리로 학습 시간을 줄이나?
학습 효과가 비슷한 데이터를 그룹으로 묶고 각 그룹에서 필요한 데이터만 선별해 여러 GPU에 고르게 분배함으로써 중복 학습을 줄인다.
성능 저하는 어느 정도인가?
전체 데이터의 약 31%만 사용했을 때 모델 성능이 거의 유지됐으며, 학습 시간은 최대 69.6% 줄었다.
연구 결과는 어디에서 발표됐나?
2026년 10월 국제 자연어처리 학회인 EMNLP 2026에서 발표됐다.