选择 MoE 模型：激活参数量不等于内存预算

NVIDIA 近期的技术文章解释了一个常见选型误区。根据全部权重、运行开销和实际任务制作内存预算表，而不是以为激活参数量就能告诉你设备能装下什么。

三个月免费开放 · 至 2027 年 1 月 10 日（日本时间），所有文章均可阅读全文。

分开读懂两种参数量

Sophia Abbassi 于 2026-09-15 发布的 NVIDIA 文章 ↗讨论稠密模型与混合专家模型。MoE 每个令牌只使用选中的专家，而存储全部权重仍有另一份内存成本。理解这个区别，是选择实际能运行的模型的有用起点。

下文的预算表是我们提出的自拟练习，包含示意算术，不是硬件跑分、购买建议，也不代表我们部署了引用的模型。

记下总参数量、存储精度和准确的检查点修订，再把激活参数量放到另一栏。激活量有助于讨论每个令牌的计算工作，却不会让驻留模型中未激活的权重消失。

Nemotron 3.5 Lightning BF16 模型卡 ↗提供了一个具体参考：它列出总量 30B、激活量 3B，并说明混合架构。这里把它作为 2026-10-11 核查的较早模型资料，并没有声称模型在本月发布。应查该模型卡与对应运行方案，不能直接套用另一种架构的要求。

举一个自拟算术例子：300 亿个权重，每个占 2 字节，共需 600 亿字节，约 55.9 GiB。这是理想化的纯权重计算，不包含元数据、缓冲区，以及执行任务所需的其他内容。把 300 亿替换成激活参数量，会回答错的存储问题。

在预算表中分别列出检查点存储、运行时工作内存、缓存上下文或递归状态，以及临时缓冲区。某个量不知道时，写“尚未测量”，不要选一个看起来舒服的数字。这样才能知道哪些假设让决定还不够可靠。

记录计划使用的输入长度、最大输出和同时请求数。单个短对话的私人助手，与处理许多长文档的批量任务，是不同负载。同一个模型名称，不能让两者的内存占用和响应时间自动相同。

测试之前，先决定要记录哪些失败：无法加载、较长输入引发内存不足、输出格式错误，或回答达不到质量标准。能加载的模型，只通过了其中第一项检查。

把原理，切开来看

编辑示意图这里只区分组成部分，不表示实测占比。激活参数量描述计算量，不能单独告诉你需要多少内存。

选择一份自写的虚构技术说明，要求模型以结构化形式提取假设与尚未解决的问题。在运行任何模型前，保存期望字段。若以后拥有兼容硬件并决定测试，比较候选时应固定文本、输出上限和并发数。

记录启动行为、峰值内存、首次输出延迟，以及答案是否达标。调查失败时，一次只改变一个条件。只有输出符合任务目的，文件更小或令牌速度更高才有实际价值。

最后保留预算表、原始输出，再用一句话分清已知测量与估算，注明仍需核查的架构专属要求。这比宣称所有 MoE 模型都更快，或把厂商比较当成自己的结果更有用。要练习的技能，是分清哪个数字决定存储、哪个涉及计算、哪个仍需要实验。

读懂之后，再动手试一次。