AI 模型路由：先比较每个成功任务的成本，再追逐便宜令牌

Cloudflare 近期的 Auto Router 发布提出了一个实际工程问题：请求便宜，就意味着任务完成得便宜吗？用小型自拟实验记录失败、重试与人工审阅时间。

三个月免费开放 · 至 2027 年 1 月 10 日（日本时间），所有文章均可阅读全文。

把近期发布当成实验题目

Ming Lu、Andreas Jansson 和 Harrison Harnisch 于 2026-09-30 发布了 Cloudflare 的 Auto Router 公告 ↗。这项公开测试功能为请求选择模型，减少用户逐次手选的需要。值得学习的是怎样评判最终工作，而不是从宣传标题直接承诺省钱。

下文是一份自拟评估计划，尚未执行，也没有实测节约金额。它帮助你在更改已有 AI 工作流之前，决定应记录哪些信息。

编造一小批文档任务：提取交付日期、列出三条明确写出的产品约束、返回固定形状的 JSON 记录。自己写好期望值，再加入几份没有目标值的文档，让正确回答必须保留“不确定”或“未提供”。

另设一个需要更多推理的任务，例如找出两条虚构要求之间的矛盾，并为它单独制定评分标准。便宜模型可能适合一类工作，却在另一类工作上需要更多复核；平均分会掩盖这个区别。

条件允许时，评分前隐藏模型名称。否则，知名模型或低价可能影响你对含糊回答的宽容程度。保留原始输出，以便重新检查令人意外的判定。

记录完成任务所用的所有请求费用，包括重试与失败尝试。将整批实际请求费用，除以通过评分标准的输出数量，得到“每个成功任务的实测请求成本”，同时显示失败数量。如果没有任何输出合格，这个比值没有定义，不能把零显示成好成绩。

人工审阅时间另列一栏。以后可以在明确假设的前提下估计其价值，但它与 API 账单不是同一件事。账单低、清理回答耗时长，完全可能同时发生。

例如，虚构结果中，路线一花费 2 个成本单位，得到 8 个合格输出；路线二花费 3 个单位，得到 15 个合格输出。每个合格输出的成本分别为 0.25 和 0.20 单位。这只是教学算例，不是 Cloudflare 的实测结果，也不是现行货币价格。

把原理，切开来看

编辑示意图使用相同任务和验收标准。把失败尝试也算进去，再用总成本除以成功任务数。

Cloudflare 于 2026-10-02 更新的 Auto Router 文档 ↗介绍候选模型限制、路由响应头和会话标识。这些设置有助于观察所选提供商和对话边界。路由只能从配置允许的模型里选择。

实验中，保存实际所选模型、任务类别、总请求数、延迟与评分结论。比较同类任务，并记录运行当时允许使用的模型池。多轮练习中保持对话边界一致，避免不同会话定义成为未记录的变量。

最后整理一份简短错误日志：缺失字段、没有依据的主张、格式错误的 JSON，以及未解决的矛盾。为一种常见失败写出回退规则，决定哪些任务仍需人工审阅。提出更大试验前，先对保存的示例检查这条规则。真正有用的成果是一项能检查的操作决定；是否省钱，还要等待实际测量。

读懂之后，再动手试一次。