広告掲載
AIパソコン

Nota、金融向けAIコーディングエージェントのLLMとサーバーを供給

NotaはDubeとの契約に基づく最適化済みLLMとサーバーの納品を完了した。同一GPU環境で毎分リクエスト数が最大95%増加した。

AI推論最適化を手がけるNotaは、金融分野のIT企業Dubeとの間で、金融機関向けのオンプレミス型AIコーディングエージェントに用いる最適化済みLLMとサーバーを供給する契約を締結し、契約に基づく納品を完了したと明らかにした。韓国のdatanet.co.krが報じた。

Notaが担ったのは、モデルの軽量化、推論と配信環境の最適化、サーバー構成の設計と提供である。Dubeは金融機関にAIコーディングエージェントを提供する金融向けSI開発企業で、今回のシステムは各金融機関の内部環境で稼働するオンプレミス型となる。

Notaによると、量子化によってLLMのメモリ所要量を削減し、推論プロセスと配信環境の両方を最適化した。その結果、同じGPU環境で比較して毎分リクエスト数が最大95%増加し、最初のトークンが返るまでの遅延は半分未満に短縮された。

最適化全体では、同一のGPU構成で毎分リクエスト数は約58%から95%の範囲で増加したという。

よくある質問

NotaはDubeとどのような契約を結びましたか?

金融機関向けのオンプレミス型AIコーディングエージェントに使う最適化済みLLMとサーバーを供給する契約で、納品は完了しています。

最適化の効果はどれくらいでしたか?

同じGPU環境で毎分リクエスト数が最大95%増え、最初のトークンの遅延が半分未満になりました。

出典