韩国科学技术院开发 CluSTER 微调技术，训练时间最多缩短 69.6%
研究团队仅使用约 31% 的数据便基本保持模型性能，将原本 10 小时的训练缩短至约 3 小时。
韩国科学技术院（KAIST）11 月 2 日宣布，该校研究团队开发出一种名为 CluSTER 的大语言模型微调技术，可将额外训练时间最多缩短 69.6%，同时基本保持模型性能。据 digitaltoday.co.kr 报道，该研究由 KAIST 计算机科学教授 Lee Jae-gil 带领的团队完成，计算机科学博士生 Kim Hyun-jin 为论文第一作者。
CluSTER 的做法是将训练效果相近的数据分组，再从每个分组中挑选所需数据，并将其均匀分配到多块 GPU 上，从而减少重复训练。
研究团队使用 3 个编程与医疗数据集，对参数量约 70 亿和 130 亿的大语言模型进行微调，并通过 8 项性能评测验证了该技术。结果显示，仅使用约 31% 的全量数据，模型性能基本得以保持，训练时间最多缩短 69.6%，原本 10 小时的训练任务降至约 3 小时。
实验主要在 4 块 GPU 的环境中进行，在 8 块 GPU 的环境下，该方法同样优于现有方法。
研究成果已在 EMNLP 2026 发表
据 digitaltoday.co.kr 报道，相关研究成果已于 2026 年 10 月在自然语言处理国际会议 EMNLP 2026 上发表。
快速问答
CluSTER 是什么？
这是 KAIST 研究团队开发的一种大语言模型微调技术，通过按训练效果对数据分组并均匀分配到多块 GPU，减少重复训练。
CluSTER 能缩短多少训练时间？
根据实验结果，仅使用约 31% 的数据即可基本保持模型性能，训练时间最多缩短 69.6%，例如 10 小时的训练可降至约 3 小时。
这项研究在哪里发表？
研究结果于 2026 年 10 月在自然语言处理国际会议 EMNLP 2026 上发表。