10 月 20 日,DeepSeek 宣布开源其内部大规模云服务推理框架 DeepInfer。这不是又一份模型权重,而是把支撑 DeepSeek 线上高吞吐、低延迟推理服务的整套工程家底端了出来:如何部署、如何调度、如何压缩成本,都在代码与技术报告中公开,开源部分采用 Apache 2.0 许可。
DeepInfer 最受关注的特性是对芯片平台的中性支持:英伟达 GPU 与华为昇腾 950 系列 NPU 出现在同一份支持名单中,获得对等待遇。官方披露,该框架支撑的 DeepSeek V4.1 Flash 线上服务单集群日均处理 155 万亿 token,并借助谷时电价等调度策略持续摊薄推理成本。同步开放的还有生产级 Token 编解码组件 deepseek-recipe,框架支持分布式推理、推测解码与结构化输出,覆盖企业私有化部署推理服务的主要工程环节。
这背后的产业意义值得放大来看。半导体研究机构 SemiAnalysis 在 10 月 22 日的报告中,将 DeepSeek 与华为在模型与芯片领域的合作描述为一种"共生关系":华为提供硬件与原生软件栈,DeepSeek 提供前沿模型负载与真实生产环境的打磨,双方共同验证了不依赖 CUDA 的软件生态同样可以跑通大模型推理。
对企业 IT 团队而言,DeepInfer 的开源提供了两条路径:要么直接采用这套经过海量线上流量验证的推理框架降低部署成本;要么将其作为参照样本,评估国产算力承接大模型推理服务的成熟度。过去一年"在国产芯片上跑通头部开源模型"常停留在演示层面,如今生产级推理框架的开源,正在把这道工程鸿沟一步步填平。
来源:第一电动网