Industry News

DSpark:大模型推理速度飙升85%的工程突破

最近刷到梁文锋署名的 DeepSeek 新论文 DSpark,数据很猛:

单用户速度提升 85%,高并发场景有效吞吐翻 4 倍。

但这篇论文真正厉害的地方,不是某一个“神奇算法”,而是把算法、模型、GPU 调度和在线校准做成了一整套工程闭环。

简单说,DSpark 是在解决一个问题:

大模型生成文字太慢,能不能先“猜几个字”,再让大模型一次性检查?

这就是推测解码。

传统大模型是一个 token 一个 token 往外吐,像逐字打字。但 GPU 的特点是:一次处理 10 个 token,并不会比处理 1 个 token 慢 10 倍。

所以思路来了:

先用一个很快的“草稿模型”猜后面几个 token,再让大模型批量验证。猜对的直接收下,猜错的从分歧点重新生成。

关键是:输出质量不变,只是速度变快。

但问题也很现实:

猜得多不一定赚。

如果草稿模型猜 16 个 token,最后只对 3 个,那后面 13 个就是浪费算力。

所以 DSpark 做了几件事:

1. 不是随便拿小模型乱猜

它复用目标大模型内部的隐藏状态,再加轻量草稿头来预测。相当于站在大模型“理解”的基础上猜,速度快,也更准。

2. 不完全串行猜

传统草稿模型要一个 token 一个 token 猜,还是慢。DSpark 借鉴 DFlash 思路,一次性并行产出多个候选位置。

3. 解决“越往后越不准”

纯并行会有问题:每个位置独立预测,后面的 token 容易拼歪。比如单看都合理,连起来却很别扭。DSpark 加了轻量顺序头,让后面的 token 能参考前面的结果。

4. 串行修正很便宜

它没有重新做复杂注意力计算,而是用很轻的马尔可夫头修正概率。草稿长度从 4 扩到 16,额外延迟只增加 0.2%–1.3%,但接受长度最高能提升 30%。

5. 动态决定猜几个

代码生成规律强,可以多猜;开放聊天不确定性高,就少猜。GPU 空闲时多猜没关系,高并发时就要省算力。DSpark 会根据请求类型和硬件负载动态调整验证长度。

6. 边跑边校准

模型通常会“过度自信”,觉得自己猜得都对。DSpark 会在线观察真实接受率,动态调整置信度阈值。代码任务多了,就对代码草稿更宽容;聊天任务来了,就自动收紧。

我觉得 DSpark 最值得关注的点是:

它不是单点创新,而是系统工程能力的体现。

很多基础思路以前就有,但 DeepSeek 把它们组合成了一套能落地、能自适应、能端到端提速的方案。

这也是为什么它能在已经优化过的 MTP-1 基线上继续做到 60%–85% 的速度提升。

一句话总结:

DSpark 的核心不是“让模型更聪明”,而是让模型推理过程更会省力。

对于大模型推理来说,未来拼的不只是参数量,也会越来越拼工程调度、硬件利用率和系统协同设计。

Customer Cases

Jinggon Intelligence partners with 2000+ renowned domestic and international enterprises

EI Industry
讯强电子
讯强电子
科德电子
科德电子
蓝微电子
蓝微电子
恒铭达
恒铭达
佳禾电声
佳禾电声
瑞德智能
瑞德智能
诺必达
诺必达
百威电子
百威电子
赛尔美
赛尔美
北方光电
北方光电
南极光
南极光
升威电子
升威电子
长视科技
长视科技
净诺环境科技
净诺环境科技
精体电子
精体电子
邦普电子
邦普电子
东陆科技
东陆科技
乐图科技
乐图科技
邦科电子
邦科电子
伟邦科技
伟邦科技
佳韵电子
佳韵电子
好帮手
好帮手
星原电子
星原电子
康创电子
康创电子
API Industry
比亚迪
比亚迪
金业车灯
金业车灯
美力弹簧
美力弹簧
纽福克斯
纽福克斯
弘景光电
弘景光电
奥图弹簧
奥图弹簧
塔孚汽车
塔孚汽车
东海理化
东海理化
丰田合成
丰田合成
恒达高
恒达高
富来电子
富来电子
广联汽配
广联汽配
爱信精机
爱信精机
钧捷智能
钧捷智能
泰途科技
泰途科技
HI Industry
英特科技
英特科技
同星科技
同星科技
金镁智高
金镁智高
星河精密
星河精密
伟经日用
伟经日用
英飞同仁
英飞同仁
精而美
精而美
金尚智能
金尚智能
永丰利华
永丰利华
恒美
恒美
乐菱精密
乐菱精密
DT
创维集团
创维集团
超视界
超视界
中强电子
中强电子
厦华科技
厦华科技
鸿合科技
鸿合科技
长嘉电子
长嘉电子
Lighting
熠日照明
熠日照明
佛山照明
佛山照明
鹏林照明
鹏林照明
星迪智能
星迪智能
明彩照明
明彩照明
友康照明
友康照明
New Energy
敬业集团
敬业集团
许继电气
许继电气
易事特
易事特
优特电力
优特电力
恩玖科技
恩玖科技
侨翊电气
侨翊电气
HAI Industry
万家乐
万家乐
小熊电器
小熊电器
TCL
TCL
瑞能集团
瑞能集团
阿克斯曼
阿克斯曼
巨大音响
巨大音响
伊莱特
伊莱特
锦力电器
锦力电器
威诺高
威诺高
科利电器
科利电器
金星徽
金星徽
爱尼智能
爱尼智能
维诺电器
维诺电器
博恩电器
博恩电器
海伦宝
海伦宝
凯得智能
凯得智能
威博电器
威博电器
S/A
汇达材料
汇达材料
东强电子
东强电子
富信科技
富信科技
瑞晶实业
瑞晶实业
天宝科技
天宝科技
鹏元晟
鹏元晟
M&E
大叶股份
大叶股份
金宇星
金宇星
润华电力
润华电力
孚创动力
孚创动力
宏石激光
宏石激光
华机机械
华机机械
F&DC
燕之屋
燕之屋
伟泰宠物
伟泰宠物
盐津铺子
盐津铺子
白燕粮油
白燕粮油
中山爱护
中山爱护
李记包装
李记包装