Vessel AI、UpstageのSolar Pro 4に推論基盤を提供

Vessel AIは、アップステージの大規模言語モデルSolar Pro 4向けにグローバル推論インフラを提供すると発表した。digitaltoday.co.krが伝えた。

Vessel AIによると、同社のエンドポイント採用後は処理速度が平均2倍から3倍に向上した。

また、キャッシュヒット率の改善により、トークンあたりのコストを最大2倍削減できるとした。

同社はこの性能向上のため、内部のキャッシュヒット率改善、モデル量子化、推論速度向上の技術を適用した。