DeepInfer 自托管指南：DeepSeek 开源推理引擎，值不值得自己跑？
DeepInfer 是 DeepSeek 驱动 DeepSeek-V4.1-Flash 生产服务的推理框架，2026 年 10 月 20 日完整开源。本页用 5 分钟讲清它是什么、缺什么、什么量级下自托管才划算——附交互式成本计算器。
更新于 2026-10-21
一图看懂 DeepInfer
开源协议
Apache 2.0
技术底座
基于 vLLM 深度改造
支持模型
DeepSeek-V4.1-Flash（唯一）
支持硬件
NVIDIA SM100 / 昇腾 950
运行模式
仅离线批量推理
官方口径
单集群日处理 155 万亿 tokens
你的用量规模
当前规模：每天 10亿 tokens（月约 300亿），输入:输出 = 80:20
方案 A · 官方 API
默认为示例价，请以 DeepSeek 官方价格页为准；缓存命中会更低。
方案 B · 自托管（DeepInfer / vLLM）
方案 A · 官方 API / 月
$9,240
¥66,528 / 月
折合 $0.31 / 百万 tokens
零运维、弹性扩缩，适合起步与流量不稳定阶段
方案 B · 自托管 / 月（约 4 张卡）
$16,560
¥119,232 / 月
折合 $0.55 / 百万 tokens
按单卡 2.6亿 tokens/日 × 4 卡估算
纯静态估算模型：自托管成本 = GPU 租金 × 卡数 × 720h × (1 + 运维加成)，未含缓存命中折扣、模型权重存储与冷启动。所有价格均可修改，决策前请以官方报价与实测压测为准。
DeepInfer 是什么
DeepInfer 是 DeepSeek 于 2026 年 10 月 20 日开源的高性能推理框架，就是驱动 DeepSeek-V4.1-Flash 大规模生产服务的那套引擎——官方称单个集群每天处理 155 万亿 tokens。它基于 vLLM 深度改造（并借鉴了 SGLang 与 TensorRT-LLM），把 DeepSeek 内部对 MoE 模型的调度、内核与解码优化完整开放了出来。
核心能力包括：FlashMLA / DeepGEMM / DeepEP / TileLang 优化内核；注意力数据并行 + MoE 专家并行；DSpark 投机解码（小模型一次起草 5 个 token，置信度头预测哪些会被主模型接受，验证计算量减少约 30%）；批量不变推理与确定性采样（对 Agent 评测复现非常有用）；以及正则 / JSON Schema / EBNF 约束的结构化输出。
没开源的部分：它不是完整的服务栈
README 写得异常坦诚，以下三块是完整推理服务的必需件，但本次发布未包含：
- KV Cache 管理系统——与 DeepSeek 内部基础设施深度耦合
- Prefill/Decode 分离部署（大部分引擎功能已实现，但未发布）
- 跨数据并行副本的负载均衡
- 结论：开箱只能跑离线批量推理，无法直接复刻 DeepSeek 的在线生产架构
硬件与系统要求：门槛不低
DeepInfer 当前仅支持 NVIDIA SM100（Blackwell）数据中心 GPU 和华为昇腾 950 NPU——Hopper 及更老的英伟达卡均不在支持列表。系统要求 Linux、GCC 13+、Python 3.12、CUDA 13 或 CANN 9.2。
官方基准在 4 卡 SM100（prefill）+ 64 卡（decode）上测得，且全部为 DeepSeek 自测数据，尚无第三方复现。出手前请把所有吞吐数字当作未经证实的口径。
配套开源的 deepseek-recipe 组件提供了与官方 API 完全对齐的 token 编解码逻辑，自托管部署的行为可以和官方接口保持一致。
自托管还是调 API？
对绝大多数团队，答案仍然是调 API：DeepSeek 官方端点跑的就是这套代码，第三方聚合平台上 V4.1-Flash 的价格也已经足够低。自托管的价值在于数据主权、批量离线处理（爬虫清洗、代码批量生成、评测流水线）以及对吞吐极限的极致压榨。
用下面的计算器粗算一下你的量级：填入日均 token 量、API 单价与 GPU 租金，它会告诉你哪个方案更省、以及打平 API 价格需要单卡达到多少有效吞吐。
和 vLLM / SGLang 是什么关系
DeepInfer 官方承认「最初主要基于 vLLM 构建」。对你最有用的读法不是『要不要切换』，而是『DeepSeek 在 fork vLLM 之后改了什么』——vLLM / SGLang 的自托管用户可以把它当参考实现，借鉴调度与解码策略；通用在线服务场景，vLLM 与 SGLang 仍是更合适的起点。
常见问题
DeepInfer 是什么？
DeepSeek 于 2026 年 10 月 20 日开源的高性能推理框架（Apache 2.0），即驱动 DeepSeek-V4.1-Flash 生产服务的引擎，基于 vLLM 深度改造，支持分布式推理、投机解码与结构化输出。
DeepInfer 支持哪些硬件？
目前仅支持 NVIDIA SM100（Blackwell）数据中心 GPU 与华为昇腾 950 NPU。Hopper 及更早的英伟达卡不在支持列表，消费级显卡无法运行。
DeepInfer 能替代 vLLM 吗？
不能简单替代。它只支持 DeepSeek-V4.1-Flash 一个模型，且仅覆盖离线批量推理，缺 KV Cache 管理与负载均衡。通用在线服务仍建议用 vLLM 或 SGLang。
每天 155 万亿 tokens 是真的吗？
这是 DeepSeek 关于自家生产流量的官方口径，属自报数据，目前没有独立第三方复现其基准测试。把它当作方向性参考即可。
什么规模值得用 DeepInfer 自托管？
经验上日均数十亿 token 以上、且以离线批处理为主的负载才有讨论空间。用本页上方的成本计算器，结合你的 API 报价与 GPU 租金实测估算。