Ai2, 오픈소스 LLM 학습 프레임워크 'Olmo-core 3' 공개
Ai2가 MoE 모델 학습 효율을 높인 오픈소스 프레임워크 'Olmo-core 3'를 깃허브에 공개했다. 8개 NVIDIA B300 GPU 테스트에서 GPU당 초당 5만 2000 토큰을 처리했다.
미국 알렌 인공지능 연구소(Allen Institute for AI, Ai2)가 대규모 언어 모델(LLM) 학습을 위한 오픈소스 프레임워크 'Olmo-core 3'를 공개했다고 aitimes.com이 보도했다.
Ai2에 따르면 'Olmo-core 3'는 470억 매개변수 MoE(전문가 혼합) 모델 학습에서 기존 FSDP 기반 시스템 대비 GPU당 처리량을 약 2.7배 높였다. NVIDIA B300 GPU 8개를 사용한 테스트에서는 470억 매개변수 MoE 모델이 GPU당 초당 5만 2000 토큰을 처리했다.
Ai2는 MoE 학습을 위해 완전 샤딩 데이터 병렬 처리(FSDP)에서 분산 데이터 병렬 처리(DDP) 기반 시스템으로 전환했다. 'Olmo-core 3'는 행 단위 전문가 병렬 처리와 GPU 상주 라우팅, 그룹화된 GEMM을 사용해 데이터 이동 비용을 줄인다.
또한 MXFP8 저정밀도 형식을 적용해 학습 처리량을 약 21퍼센트 높였다. Ai2는 코드와 기술 보고서를 깃허브에 공개했다.
한눈에 보기
'Olmo-core 3'는 어디서 받을 수 있나?
Ai2가 코드와 기술 보고서를 깃허브에 공개했다.
'Olmo-core 3'의 성능 향상 폭은?
470억 매개변수 MoE 모델 학습에서 기존 FSDP 기반 시스템 대비 GPU당 처리량이 약 2.7배 높아졌고, MXFP8 저정밀도 형식 적용 시 학습 처리량이 약 21퍼센트 증가했다.