Vessel AI、Solar Pro 4の世界推論を運用

Vessel AIは、アップステージのSolar Pro 4の世界推論サービスを運用したと発表した。韓国、欧州、米国のデータセンターにあるGPUサーバーを使い、世界中のユーザーからのリクエストを処理した。platum.krが報じた。

Solar Pro 4は、9月ごろに世界のLLMルーティングプラットフォームOpenRouterの利用量ランキングで3位になった。

Vessel AIはアップステージとともに、ローンチとプロモーションのスケジュール、予想される需要を調整し、必要な処理能力を設計した。

Vessel AIはキャッシュ利用率の向上と量子化技術により、処理速度を平均2倍、最大3倍に高め、トークンあたりのコストを最大半分に削減した。

過去の取り組み

Vessel AIは最近、SK BiopharmにAI研究開発用のGPUインフラを提供した。また、Neo AIと、Pohang AI Data CenterでGPUプラットフォームを構築・運用する契約を結んだ。