カフェ24、タスク難易度でAIモデルを自動選択するLLM Routerを拡充

韓国のカフェ24が、タスクの難易度とコストに応じて複数のAIモデルを自動で選ぶLLM Routerサービスの拡充を進めている。ZDNet Koreaが報じた。同サービスは複数のAIモデルを単一のAPIで接続する。

自動ルーティング機能「cafe24/auto」は、タスクの難易度とコストをもとに利用するモデルを選択する。月額基本料や契約のない従量課金プランでは、失敗した呼び出しは課金されない。リアルタイムダッシュボードで利用状況とコストを確認できる。

対応モデル数は提供開始時の約120から約270に増えた。モデルルーティングとトークンコスト管理への関心が高まるなかでの拡充となる。

各社のモデル統合サービスも動く

KTは10月27日にAI統合プラットフォーム「トークンファクトリ」を公開し、10月30日から企業向けの本格サービスを始めた。当初は73のAIモデルを1つのAPIで提供し、モデル選択や利用状況の監視、課金に対応する。今月中にOpenRouterとの連携で対応モデルを500以上に広げる計画だ。

AIインフラ管理ソリューション「コンティニュアム エンタープライズ」については、Rebellionsが先月23日に初の供給契約を発表している。