Q Labs开源项目Noise提速4000倍，22日起扩展至3000万词元
Q Labs宣布其开源项目Noise将达标损失时间从1.76小时缩短至1.6秒，并于10月22日起将训练数据增至3000万词元。
据aitimes.com报道，Q Labs宣布其开源项目Noise（戰慄之聲）实现了约4000倍的提速，达到目标损失所需时间从1.76小时降至1.6秒。该实验在十天内完成。
在Noise实验中，研究团队使用一个参数量为3770万的小型GPT模型，在单次训练中处理最多1000万个FineWeb词元，目标是将验证损失降至4.2。最佳损失从4.167改善至3.676，低于使用Adam优化器的反向传播基线3.769。
Q Labs开发了无需反向传播的训练算法Dust，并基于该算法开放了公开实验。不过，在双方使用相同优化算法的对比中，反向传播仍然更快。
从10月22日起，Q Labs结束了1000万词元的评估，将训练数据增加至3000万词元。新评估在配备8块H100 GPU的单节点上运行，目标损失为3.5，并新增了一个允许自由更改模型架构的赛道。
快速问答
Noise项目是什么？
Noise是Q Labs基于无需反向传播的训练算法Dust开发的开源项目，并开放了公开实验。
新评估使用了多少训练数据？
从10月22日起，训练数据从1000万词元增加至3000万词元，目标损失为3.5。