美国科技企业正在悄然将中国开源AI模型纳入生产基础设施。随着顶尖美国模型服务成本持续攀升，以Coinbase为代表的企业开始以中国开源模型作为默认选项，以此在不压制使用量的前提下大幅压缩AI开支。
Coinbase首席执行官Brian Armstrong于上周五晚间在X平台发文披露，公司已将智谱旗下刚刚发布的GLM 5.2以及北京月之暗面旗下的Kimi 2.7，通过内部LLM网关设定为工程师的默认模型。Armstrong表示，在结合路由优化与缓存改进等措施后，Coinbase的AI支出已削减"近一半"，而token使用量仍在以指数级增速增长。
中国开源模型成本优势被摆上台面
Armstrong在帖子中明确指出，91%的工程师从未触及原有的使用上限，因此Coinbase并未选择降低上限或增设消费提醒，而是转向"更便宜的默认模型"。
GLM 5.2来自智谱，Kimi 2.7来自北京月之暗面，二者均属开源权重模型。Armstrong表示，这些模型被部署于常规任务场景，而对于需要复杂规划的任务，工程师仍可选用前沿模型。他的逻辑是：在执行层面使用顶级模型往往是"大材小用"。
代码审查环节则采用多模型并行策略，让不同模型相互校验输出结果，以维持质量标准。
三层基础设施重构驱动成本削减
Armstrong列出了三项核心手段。
第一是智能路由：在自定义调度框架中，系统对提示词进行预处理，综合缓存命中率与模型定价，将任务自动分发至最合适、最经济的模型。他表示，最终目标是让AI而非人工来完成模型选择这一任务。
第二是积极缓存：Coinbase要求所有请求具备缓存感知能力，尽量复用已有缓存。以LibreChat为例，在正确实施缓存机制后，缓存命中率从5%跃升至60%。
第三是精简上下文：Armstrong建议在切换任务时开启新会话，缩小文件上下文范围，断开未使用的工具连接。他强调，目标不是减少token使用总量，而是减少"被浪费的token"。
效率优先，而非压制使用
Armstrong将此次成本压缩定性为扩大AI采用规模的前提条件，而非一种限制。他表示，工程师仍可自由使用任意数量的token和任意模型，但公司已将用量数据可视化，并将使用量与业务影响挂钩——"花得越多，我们期望的影响也越大"。
他并未披露具体的绝对支出数字。但从结构上看，在使用量指数增长的同时实现支出近半削减，意味着Coinbase已在一定程度上实现了消耗与成本的解耦。
Armstrong的结论是，这套方法论具有普适性，任何企业均可借鉴，以便在不将成本设为天花板的前提下，实现AI使用规模的可持续扩张。
Comments