广告合作
人工智能

Snowflake推出Cortex AI捷威,可自动选择AI模型

Snowflake表示,新功能可根据质量、速度和成本自动分配AI工作负载,并追踪AI支出。

据 techradar.com 报道,Snowflake 表示其近期推出的 Cortex AI 捷威(Cortex AI Gateway)功能,可让客户自动将 AI 工作负载分配给最合适的模型,同时追踪并控制 AI 支出。

该功能名为动态模型路由(dynamic model routing),会自动将任务导向在质量、速度和成本之间为该用例取得最佳平衡的模型。Snowflake 方面表示,该能力可依据质量、速度和偏好自动选择最佳模型,并同步追踪 AI 花费。

在治理层面,掩码等治理策略与控制措施适用于处理请求的任何模型,无论其为开源模型还是专有模型。客户也可以控制哪些模型和提供商可供其用户使用。

Snowflake AI 产品营销经理 Grace Adamson 在报道中接受了采访。她表示,在生成式 AI 的第一波浪潮中,业界关注的重点显著集中在模型能力上,当时的 AI 竞赛更具实验性质,目标是取得最高质量的输出或解决最复杂的任务。

模型选择与支出管理并重

按照 Snowflake 的说法,动态模型路由将模型选择与 AI 支出追踪放在同一套机制中,客户可在可用的模型和提供商范围内进行配置。治理策略同样覆盖请求所涉及的每一个模型。

快速问答

Cortex AI 捷威的动态模型路由是什么?

这是 Snowflake 在 Cortex AI 捷威中提供的功能,可自动将工作负载导向在质量、速度和成本之间取得最佳平衡的模型。

治理策略是否适用于所有模型?

是的。据 Snowflake 表示,掩码等治理策略与控制措施适用于处理请求的任何模型,无论开源还是专有。

客户能否限制可用的模型?

可以。客户能够控制哪些模型和提供商可供其用户使用。

来源