AI モデルルーティング：安いトークンより、成功した課題あたりの費用を比較

発表を実験の題材として読む

Ming Lu、Andreas Jansson、Harrison Harnisch は、2026-09-30 に Cloudflare の Auto Router 発表 ↗を公開しました。パブリックベータの機能は、ユーザーが毎回選ぶ代わりに、リクエストのモデルを選択します。学ぶべきなのは、見出しから節約を約束することではなく、完成した仕事をどう評価するかです。

以下は独自に考えた評価計画で、実行も節約額の測定もしていません。既存の AI ワークフローを変える前に、何を記録すべきかを決めるために使います。

価格を比べる前に成功を定義する

架空の文書課題を少数作ります。納期の抽出、明記された製品の制約を三つ挙げること、決めた形の JSON レコードを返すことなどです。期待値を自分で書き、求める値が書かれていない文書も加えます。その場合の正解は、不確実性や「記載なし」を明示して保つ回答です。

より多くの推論が必要な課題も別に用意します。例えば、二つの架空の要件の矛盾を見つける課題に、専用の採点基準を作ります。安いモデルが一種類の仕事に向いても、別の種類では確認が増えるかもしれません。平均点だけではその違いが隠れます。

可能なら、モデル名を見ずに出力を採点してください。有名な名前や低価格が、曖昧な回答への評価を甘くすることがあります。意外な判定を見直せるよう、生の出力も保存します。

完了までの試行全体を数える

再試行と失敗を含め、課題に使った全リクエストの費用を記録します。一群の実際のリクエスト費用を、採点基準に合格した出力数で割ります。これを「成功した課題あたりの実測リクエスト費用」と呼び、失敗件数も並べて報告します。一件も合格しなければ比率は定義できません。ゼロを良い結果として表示しないでください。

人の確認時間は別の列にします。後で明示した仮定に基づいて価値を見積もることはできますが、API 料金とは違う数字です。安い請求額と、長い手直し時間は両立します。

例えば、架空の結果として、一つの経路が 2 費用単位で 8 件の合格出力を生み、別の経路が 3 単位で 15 件を生んだとします。合格出力あたりの費用は 0.25 と 0.20 単位です。これは学習用の計算例であり、Cloudflare の結果や現在の通貨価格ではありません。

回答と一緒にルーティング条件を記録する

2026-10-02 更新の Cloudflare の Auto Router 文書 ↗は、候補モデルの制限、ルーティングのレスポンスヘッダー、セッション識別子を説明しています。選択されたプロバイダーと会話の境界を観察する助けになります。選べるモデルは、設定で許可されたものに限られます。

実験では、選択モデル、課題の分類、総リクエスト数、遅延、採点結果を保存します。同じ種類の課題を比較し、実行時に許可されていたモデル群を記録してください。複数ターンの練習では、会話の境界をそろえます。異なるセッション定義を、記録されない変数にしないためです。

失敗の型から次の判断をする

最後に、項目の欠落、根拠のない主張、不正な JSON、解消されなかった矛盾を短いログにまとめます。よくある失敗を一つ選び、フォールバックの規則を作り、人の確認が必要な課題を決めます。大きな試行を提案する前に、保存した例でその規則を確認してください。有用な成果は、確認可能な運用判断です。費用を削減するかは、実際の測定で確かめる問題として残ります。