Q랩스, '노이즈' 프로젝트 4000배 가속…학습 데이터 3000만 토큰으로 확대

Q랩스가 오픈소스 프로젝트 '노이즈'에서 초기 기록 대비 약 4000배의 속도 향상을 달성했다고 밝혔다. 목표 손실에 도달하는 데 걸리는 시간이 1.76시간에서 1.6초로 줄었다. 이 같은 결과는 10일 만에 나왔다.

노이즈 실험은 3770만 개의 파라미터를 가진 소형 GPT 모델을 최대 1000만 개의 FineWeb 토큰으로 단일 패스 학습하는 방식으로 진행됐다. 목표는 검증 손실을 4.2까지 낮추는 것이었다. 실험에서 최고 손실은 3.676을 기록해 Adam 옵티마이저를 사용한 역전파 기준선(3.769)을 밑돌았다.

다만 동일한 최적화 알고리즘을 양쪽에 적용한 비교에서는 역전파가 여전히 더 빨랐다. Q랩스는 역전파 없이 학습하는 알고리즘 '더스트'를 개발하고 이를 기반으로 한 공개 실험을 운영해 왔다. 더스트의 초기 연구는 가중치 대신 활성화 값을 변경하고 그 결과로 가중치 업데이트 방향을 추정하는 방식을 설명한다.

Q랩스는 10월 22일부터 1000만 토큰 평가를 종료하고 훈련 데이터를 3000만 토큰으로 늘렸다. 새 평가는 8개의 H100 GPU를 갖춘 단일 노드에서 목표 손실 3.5로 진행되며, 모델 아키텍처를 자유롭게 변경할 수 있는 트랙도 추가됐다. 이 같은 내용은 aitimes.com이 보도했다.