MoE モデルの選び方：アクティブなパラメーター数はメモリ予算ではない

二つのパラメーター数を分けて読む

Sophia Abbassi による 2026-09-15 の NVIDIA 記事 ↗は、Dense モデルと Mixture-of-Experts モデルを説明しています。MoE はトークンごとに選んだ Expert だけを使いますが、保存された重みには別のメモリ費用があります。実際に動かせるモデルを選ぶうえで、この区別は有用な出発点です。

以下の表は独自の練習案です。説明用の計算を含みますが、ハードウェアのベンチマーク、購入推奨、引用モデルを導入したという報告ではありません。

チェックポイント全体から始める

総パラメーター数、保存精度、正確なチェックポイントのリビジョンを書きます。アクティブなパラメーター数は別の列に置きます。アクティブ数はトークンごとの計算を考える手がかりですが、常駐するモデルから不使用の重みを消す数字ではありません。

Nemotron 3.5 Lightning BF16 のモデルカード ↗は具体的な参考です。総数 30B、アクティブ数 3B と、ハイブリッドな構成が記されています。これは 2026-10-11 に確認した以前のモデル資料で、モデルが今月公開されたとは述べていません。別の構成の要件を転用せず、このカードと対応する実行手順を確認します。

独自の計算例として、300 億個の重みを一個 2 バイトで保存すると、600 億バイト、約 55.9 GiB になります。これは重みだけの理想化した計算です。メタデータ、バッファー、課題の実行に必要な他の領域は含みません。300 億をアクティブ数に置き換えると、保存容量について別の問いに答えてしまいます。

都合のよい余裕ではなく、負荷を加える

表には、チェックポイントの保存領域、実行時の作業メモリ、コンテキストのキャッシュや再帰状態、一時バッファーを別の行にします。不明な量は、安心できそうな数字で埋めず、「未測定」と書きます。判断を不確かにしている仮定が見えるようになります。

想定する入力長、最大出力、同時リクエスト数も記録します。一つの短い会話を扱う個人用アシスタントと、大量の長文を扱うバッチ処理は別の負荷です。同じモデル名だからといって、メモリ使用量や応答時間は同じになりません。

試験の前に、何を失敗として記録するかを決めます。読み込み不能、長い入力でのメモリ不足、形式の誤った出力、採点基準を満たさない回答などです。モデルの読み込み成功は、このうち最初の確認にしか合格していません。

意味のある課題で比較する

自分で短い架空の技術メモを書き、前提と未解決の問いを構造化して抽出させます。モデルを実行する前に、期待する項目を保存します。後で対応ハードウェアを用意し、試すと決めたなら、候補間で文章、出力上限、同時実行数を固定してください。

起動の様子、ピークメモリ、最初の出力までの遅延、回答が採点基準に合格したかを記録します。失敗を調べるときは、条件を一つずつ変えます。小さいファイルや高いトークン速度が役立つのは、課題の目的に合う出力が得られる場合です。

確認できる選択を残す

最後に表と生の出力を保存し、既知の測定と推定を区別する一文を添えます。まだ確認が必要な構成固有の要件も記してください。すべての MoE が速いと言い切ったり、ベンダーの比較を自分の結果として扱ったりするより有用です。保存、計算、今後の実験のそれぞれに、どの数字が関係するかを判断する練習です。