리플렉션 AI, 501B 파라미터 오픈웨이트 모델 'Beam' 공개
텍스트 전용 MoE 모델로 23B 활성 파라미터, 1M 토큰 컨텍스트 지원. 이달 내 가중치와 기술 상세 공개 예정.
리플렉션 AI가 첫 프런티어 오픈웨이트 AI 모델 'Beam'을 공개했다. Beam은 5010억 개(501B)의 전체 파라미터와 230억 개(23B)의 활성 파라미터를 갖춘 텍스트 전용 전문가 혼합(MoE) 모델이다.
Beam은 23조 8000억 개(23.8T)의 토큰으로 사전 학습됐으며, 100만 토큰(1M) 컨텍스트 윈도를 지원한다.
리플렉션 AI는 Beam이 고급 추론 벤치마크에서 중국의 주요 오픈 모델들과 성능이 동등하면서도 비용은 크게 낮다고 주장했다. 또한 서구의 주요 오픈 모델들을 능가하며 추론 컴퓨팅을 3~4배 적게 사용한다고 밝혔다.
회사는 이달 안에 Beam의 가중치와 전체 기술 세부 사항을 공개할 예정이다.
한눈에 보기
Beam의 파라미터 수는 얼마인가?
전체 501B, 활성 23B 파라미터의 텍스트 전용 MoE 모델이다.
Beam의 컨텍스트 윈도는?
100만 토큰(1M)이다.
가중치는 언제 공개되나?
리플렉션 AI는 이달 내 가중치와 전체 기술 세부 사항을 공개한다고 밝혔다.