Nota向Dube交付金融AI编程智能体优化模型与服务器
Nota表示已完成向金融IT企业Dube交付轻量化大模型与服务器,同等GPU环境下每分钟请求数提升58%至95%。
据 datanet.co.kr 报道,Nota已与金融行业SI开发公司Dube签署合同,向其供应针对金融领域定制的本地部署AI编程智能体(AI coding agent)优化大语言模型及服务器,Nota表示合同项下的交付已经完成。
在该项目中,Nota负责模型轻量化、推理与服务环境优化以及服务器配置,用于支撑Dube面向金融机构提供的AI编程智能体。
Nota称,经过优化后,在相同GPU环境下每分钟请求数(RPM)较此前最多提升95%,全部优化范围内每分钟请求数提升约58%至95%,首字延迟缩短至原来的一半以下。
具体做法上,Nota通过量化降低大语言模型的内存占用,并对推理过程和 serving 环境同时进行优化。
Dube是一家面向金融行业的SI开发公司,向金融机构供应AI编程智能体。
快速问答
Nota与Dube的合同内容是什么?
Nota向Dube供应针对金融领域本地部署AI编程智能体优化的大语言模型与服务器,并负责模型轻量化、推理与服务环境优化及服务器配置。
优化后性能提升多少?
在相同GPU环境下每分钟请求数提升约58%至95%,最多提升95%,首字延迟缩短至原来的一半以下。
交付完成了吗?
Nota表示合同项下的交付已经完成。