免责声明:金色财经所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(jinse.com.cn) 举报

    美国科技企业悄然转向中国AI模型 Coinbase带头用上GLM与Kimi

    美国科技企业正在悄然将中国开源AI模型纳入生产基础设施。随着顶尖美国模型服务成本持续攀升,以Coinbase为代表的企业开始以中国开源模型作为默认选项,以此在不压制使用量的前提下大幅压缩AI开支。

    Coinbase首席执行官Brian Armstrong于上周五晚间在X平台发文披露,公司已将智谱旗下刚刚发布的GLM 5.2以及北京月之暗面旗下的Kimi 2.7,通过内部LLM网关设定为工程师的默认模型。Armstrong表示,在结合路由优化与缓存改进等措施后,Coinbase的AI支出已削减"近一半",而token使用量仍在以指数级增速增长。

    中国开源模型成本优势被摆上台面

    Armstrong在帖子中明确指出,91%的工程师从未触及原有的使用上限,因此Coinbase并未选择降低上限或增设消费提醒,而是转向"更便宜的默认模型"。

    GLM 5.2来自智谱,Kimi 2.7来自北京月之暗面,二者均属开源权重模型。Armstrong表示,这些模型被部署于常规任务场景,而对于需要复杂规划的任务,工程师仍可选用前沿模型。他的逻辑是:在执行层面使用顶级模型往往是"大材小用"。

    代码审查环节则采用多模型并行策略,让不同模型相互校验输出结果,以维持质量标准。

    三层基础设施重构驱动成本削减

    Armstrong列出了三项核心手段。

    第一是智能路由:在自定义调度框架中,系统对提示词进行预处理,综合缓存命中率与模型定价,将任务自动分发至最合适、最经济的模型。他表示,最终目标是让AI而非人工来完成模型选择这一任务。

    第二是积极缓存:Coinbase要求所有请求具备缓存感知能力,尽量复用已有缓存。以LibreChat为例,在正确实施缓存机制后,缓存命中率从5%跃升至60%。

    第三是精简上下文:Armstrong建议在切换任务时开启新会话,缩小文件上下文范围,断开未使用的工具连接。他强调,目标不是减少token使用总量,而是减少"被浪费的token"。

    效率优先,而非压制使用

    Armstrong将此次成本压缩定性为扩大AI采用规模的前提条件,而非一种限制。他表示,工程师仍可自由使用任意数量的token和任意模型,但公司已将用量数据可视化,并将使用量与业务影响挂钩——"花得越多,我们期望的影响也越大"。

    他并未披露具体的绝对支出数字。但从结构上看,在使用量指数增长的同时实现支出近半削减,意味着Coinbase已在一定程度上实现了消耗与成本的解耦。

    Armstrong的结论是,这套方法论具有普适性,任何企业均可借鉴,以便在不将成本设为天花板的前提下,实现AI使用规模的可持续扩张。

    jinse.com.cn 0
    好文章,需要你的鼓励
    jinse.com.cn 0
    好文章,需要你的鼓励
    参与评论
    0/140
    提交评论
    文章作者: / 责任编辑:

    声明:本文由入驻金色财经的作者撰写,观点仅代表作者本人,绝不代表金色财经赞同其观点或证实其描述。

    提示:投资有风险,入市须谨慎。本资讯不作为投资理财建议。

    金色财经 > 华尔街见闻 > 美国科技企业悄然转向中国AI模型 Coinbase带头用上GLM与Kimi
    • 寻求报道
    • 金色财经中国版App下载
      金色财经APP
      iOS & Android
    • 加入社群
      Telegram
    • 意见反馈
    • 返回顶部
    • 返回底部