NVIDIA:机密计算支撑高性能生产级私有 AI 推理
NVIDIA 介绍面向生产级大模型推理的机密计算方案:内存加密机密虚拟机、机密 GPU 与加密 NVLink,并在 TensorRT-LLM 上做适配;DeepSeek-R1 在 8×B200 上开启 CC 仍保留约 96.1%–98.2% 吞吐。
NVIDIA 开发者博客(2026 年 9 月 22 日)介绍,NVIDIA 机密计算(Confidential Computing)可用于生产级大模型推理,涵盖内存加密的机密虚拟机(CVM)、机密 GPU 与加密 NVLink,并对 TensorRT-LLM 做了 CC 感知适配。
在 8×B200 上运行 DeepSeek-R1 的测试中,开启 CC 后吞吐仍保留约 96.1%–98.2%,每 token 输出时间(TPOT)开销约 1.2%–4.3%。