企业为简单的人工智能查询付费过高——雪花的网关现在自动路由,可以将成本削减至3x.

企业为简单的人工智能查询付费过高——雪花的网关现在自动路由,可以将成本削减至3x.。

<p>企业团队在规模上运行AI代理商时发现,一个单一的模型处理每个任务都做得很差——要么该模型对于简单的问题来说太贵了,要么没有足够的能力来处理困难的问题. 模式路由(Model routing)会自动为每项任务选择正确的模式,它正在成为固定的。 </p><p> Snowflake的 Cortex AI Gateway现在提供了动态模式路由来解决:企业可以选择“自动”而不是固定模式,系统将每项任务引导到质量和成本的最佳组合。 Snowflake说,这一能力在一些工作量上可以减少多达3x的象征性费用——这是公司内部测试得出的数字——之后发现,简单的问题往往由其最有能力的模型处理,使答复比必要的要昂贵和慢。 移动在更广泛的产业转向自动化模式路线的过程中着陆。 Databricks,AWS,Google Cloud和Nvidia都宣布了某种形式的模型路由技术. Snowflake认为,模型的路由比价格和性能更为复杂,它x27;关于治理和背景。</p><p>&quot;对于要建设的高质量企业级代理商,它x27;对正确环境和治理至关重要。 “背景、信任和模式选择都相辅相成。 两种机制决定一项任务在何处</h2><p> 该能力以Cortex AI Gateway为基础,Snowflake于2026年7月作为代理和模式交通的治理层推出. Gultekin说,在动态路由之前,模型选择取消了每个任务的静态列表而不是真正的回落系统。</p><p>Dynamic路由本身运行在两种机制上,根据Gultekin的说法。</p><p><b>是一个小模型先试。</b> 在雪花所谓的顾问模式下,一个更小的模型首先尝试任务. 如果它不能完成任务, 它会叫一个更大的模型作为工具, 然后从它继续 。 </p><p><b> A 分类器类型 按任务历史 。 </b> 一个单独的分类器,经过以往的查询培训,会自动将直截了当的问题引导到更简单的模型. </p><p><b>b> Customers 仍然可以给一个模型打针. </b> 自动路由是可选的. 客户可以将路由限制在一个模型或一组被定义的模型上,系统只能在该边界内行走.</p><p><b> 没有单独的收费。 </b> 雪花价格 AI纯粹是象征性的使用。 向更便宜的模型行走会产生更便宜的账单,对路由决定本身没有附加收费. </p><h2>Access control 遵循任务,而不只是数据</h2><p>. Snowflake 链接到它已经用于数据治理的相同访问控制。</p><p> 治理始于数据一级,以角色为基础的访问控制。 它延伸至下一个模型,客户角色映射到批准模型的桶. 它再次延伸至代理,其中代理可以限制在比用户引用的更窄的权限.</p><p> 开放型号可以从一个客户XX27运行;是满足数据居住要求的自有区域. Gultekin说,所有推论,无论是开放的还是专有的,都留在Snowflake-X-27;是安全边界,而不是通往外部供应商。 这种区域和周边设置对于非美国产的开放型号, 包括DeepSeek-V4-Flash和GLM-5.3, 都是在中国开发的。 </p><p> Snowflake&#x27;s<a href='https://www.snowflake.com/en/news/press-releases/snowflake-announces-int-to-accure-natoma- supposed-secure-connect-connective- for-the-gentical-conome/>最近的收购</a>Natoma又增加了一层。 这笔交易带来了100多个MCP连接器,有范围,有管理的接入. 例如,一个代理可以只读访问电子邮件等连接的工具,而不是更广泛的权限。</p><h2>Context允许一个更便宜的模型来做工作</h2><p>Snowflake最近宣布了其<a href='https://venturebeat.com/data/ai-agents-keep-five-friend-conferent-confess-layers-is-econformerce-ais-next-production-blem>> 提供上下文能力的工具</p><p>。 没有良好的环境,模型必须自己做探索性的工作,写作和测试SQL,搜索数据,在某事不起作用时进行再试. Gultekin解释道,这个过程很昂贵,要想正确,通常需要一个更有能力的模型. 预先装入上下文可去除这一探索性步骤,这意味着一个更简单,更便宜的模型往往可以处理同样的任务.</p><p> 雪花也在这个背景下构建了代理记忆. 由于代理被反复使用,它的内存更新并被折叠回未来的查询. 系统不会每次从头解决同样的问题。 记忆成为传递给模型的上下文的一部分. </p><h2> OpenRouter, Databricks和Nvidia正在追寻同样的问题. </h2><p> 模型路由空间中并不缺乏技术。 OpenRouter是最广为人知的选项之一,它提供了一个平台,使各组织能够根据成本和性能进行路由. Nvidia在8月11日宣布了"https://venturebeat.com/orchestration/nvidias-switchyard-router-reshuffers-ai-models-mid-task-裁缝-task-costs-a-third-in-its-own-tests". switchyard作为帮助路由AI模型选择</a>的技术层. Databricks也为它的Unity AI Gateway提供Smart Routing服务。 校对:Soup & quot; Snowflake is QQx27; t 真正销售 route, itXX27; 销售从未离开被管理的数据边界的 route , 并附有访问控制、 标记和成本归属 。 & quot;</p><p> Mohan 补充道, 对于一个数据和合规已经以 Snowflake 为中心的公司来说, 将数据保存在原位的 route , 以及团队花费的属性, 是解决这个问题的真正杠杆 。 对于没有这种重心的公司,中性网关可能经过更多的型号而磨擦较少.</p><p> Mohan将市场设定为三个不同的营地,而不是一个有竞争力的领域。 Databricks从数据工程和ML分行走向治理. 其Unity Catalog规范了团队建设和培训模式的数据,模型和管道. 雪花公司从分析和准入控制着手治理,管理谁可以触摸哪些数据,并确定各业务单位的使用情况。 第三个阵营包括了OpenRouter,LiteLM,Portkey等中性网关和Azure AI Foundry等超大规模路由器. 这些在模型宽度上竞争,避免锁定而不是深度治理.</p><h2>选择路由器意味着选择治理模式</h2><p> 模式路由现在是企业的桌子桩. 重要的决定是哪个治理模式已经符合其数据和团队的组织方式,而不是哪个供应商的路由器最快或最便宜。 </p><p><b> 手册模式的选择正在成为代理规模的成本负债。 </b> 当一个团队运行了 少数的特工 大规模崩溃。 成百上千的代理商在进行例行的模型呼叫时没有设置自动成本检查会快速加分. </p><p><b > 评估治理模式,而不是路由器&#x27;s 特性列表. </b> 真正的问题是,莫汉人认为,哪个治理模式与已经建立的数据产业区相匹配,哪个模式具有避免令人不快出奇所需的成本能见度。 正确的起点取决于企业QX27;数据已经存在。</b> 根据Mohan的说法,雪花店从尊重其现有接入模式和账单的平台路由中获得比原始模式宽度更高的价值。 一个以Databricks为中心的团队 担心跨培训和部署的血统 更好的服务是围绕同一血统建造的网关 多平台或模式第一团队希望以最小锁定选择的最大化选择更适合中性网关,即OpenRouter\x27背后的同一种投出;s value.</p><p>&quot;对于一个从业者来说, do&#x27;不要从路由器开始,先从您所管理的数据和平台承诺已经存在的地方开始,以及你的边距如何暴露出推断成本, & quot; Mohan说.</p>。

（编译自 VentureBeat；原文 https://venturebeat.com/orchestration/enterprises-are-overpaying-for-simple-ai-queries-snowflakes-gateway-now-auto-routes-to-cut-costs-up-to-3x，编译转述，非原文转载）