广告合作
人工智能电脑

Nota向Dube交付金融AI编程智能体优化模型与服务器

Nota表示已完成向金融IT企业Dube交付轻量化大模型与服务器,同等GPU环境下每分钟请求数提升58%至95%。

据 datanet.co.kr 报道,Nota已与金融行业SI开发公司Dube签署合同,向其供应针对金融领域定制的本地部署AI编程智能体(AI coding agent)优化大语言模型及服务器,Nota表示合同项下的交付已经完成。

在该项目中,Nota负责模型轻量化、推理与服务环境优化以及服务器配置,用于支撑Dube面向金融机构提供的AI编程智能体。

Nota称,经过优化后,在相同GPU环境下每分钟请求数(RPM)较此前最多提升95%,全部优化范围内每分钟请求数提升约58%至95%,首字延迟缩短至原来的一半以下。

具体做法上,Nota通过量化降低大语言模型的内存占用,并对推理过程和 serving 环境同时进行优化。

Dube是一家面向金融行业的SI开发公司,向金融机构供应AI编程智能体。

快速问答

Nota与Dube的合同内容是什么?

Nota向Dube供应针对金融领域本地部署AI编程智能体优化的大语言模型与服务器,并负责模型轻量化、推理与服务环境优化及服务器配置。

优化后性能提升多少?

在相同GPU环境下每分钟请求数提升约58%至95%,最多提升95%,首字延迟缩短至原来的一半以下。

交付完成了吗?

Nota表示合同项下的交付已经完成。

来源