DeepSeek开源了自己的Infra秘笈

大黑蚊子

还发了一篇技术报告，DeepSeek V4.1 Flash 大规模推理部署实践，具体链接在这里
这篇报告很有意思，甚至可以作为我们评估AI 大模型的一条新的基准线。
. V; q- Q( j- J+ S: H/ M# h
3 K" h+ a2 j- \6 m0 ]随看随说，想到哪里说到哪里。
& B6 M4 Q. I5 K  M
1、DS 4.1 flash这个版本感觉梁圣非常满意，三个特点：多芯片兼容；P/D完全解耦；KV Cache保留72小时
/ a7 o6 v# v& ]* S: d这三个特点分别对应了多算力来源、P/D均衡优化以及恐怖的Cache复用率
6 W8 @& j! C3 G$ f总的来说就是俩字：省钱！

2、目前单一集群的服务吞吐是 155 万亿 Tokens/天，整体收入是每卡每小时 38 美金（按谷价）。AMAZON自己出租卡最贵也不过18美元一小时，好像最便宜的可能不到5美元一小时，按照亚马逊最贵的这个数据来算，DS的推理服务利润率之高都堪比央行印钞。
0 a) [4 c- Z4 h3 D
! ~% M( O/ L1 a这也验证了DS LLM API服务不亏钱，甚至梁圣那个”硬件10个月回本“在数据计算之下都显得那么虚伪，明明是最多5个月回本好伐

DeepSeek 便宜是因为成本低，不是靠补贴。
' P* C4 y  h) J1 T  @: g
3、Vision Encoder: 一般单卡部署就可以，建议用可用范围内最便宜的卡部署。
现在知道那些A100为啥还在干活了吧，搞不好L40都还在机房里被压榨。

4、考虑到OpenAI对prompt缓存30分钟的写入要收12.5刀，12小时的要翻倍到25刀。这么高的成本被DS的72小时Cache给化解了。我现在感觉openAI的重置大法也不亏钱，他们在装穷，他们在哭穷！
7 K( g1 T% k$ u3 L8 S9 S  y8 n' @
; H4 O# i+ }  V再想一下，Token产量和GPU的需求应该不是完全线性的，很可能达不到1：1
! g: W1 x! |' l
; }& ^* s5 o& @" `8 E' V" r4 X5、鉴于如此逆天的KV Cache能力，DS用这种工程奇葩（此处为褒义）降低了对HBM的依赖，那么对NAND和DDR的需求应该是增长很多的。而这部分国内是有相对独立的产能。同样超大集群所对应的系统互联：网卡、交换机、光纤及光模块也尤为重要，甚至很可能越来越重要

/ S3 k3 [8 B) n5 q* N6、文中反复提了3FS 分布式文件系统，全称是Firefly File System，这是DS在疫情之前就搞出来的技术，同样开源了

/ m6 R7 D- h/ q6 Q  t7、看完这个我怀疑中美虽然有20-50倍的硬件算力差距，但是实际能够调动起来的算力差距，搞不好很可能比这个数字要小得多

; Z; C/ Z' T: Z% c* G8、任何对AI需求的低估，都会在事后被狠狠打脸
7 H* D1 N' j7 Q! P- `! f

leekai

* z7 o% H2 ]6 t! R3 m" k
9 y! i; [. y3 T3 n. s* g第7条你不用怀疑，是确定。
DS应该是用汇编级的改写实现的N卡算力压榨，还有他去年公开的DualPipe、DualPath、DeepEP和UCCL-EP就是重新编排数据流、软硬件协同的系统论思想在大模型运营方面的初步尝试，今年更进一步。
! p/ C1 k! Y$ U% l4 q# E4 ^: V去年deepseek横空出世，打崩了NVIDIA股价，我预言这是暂时的，r1及蒸馏版降低了大模型的普及门槛，后续会极大带动NVIDIA销售。至少我买了两块2080魔改（原来的GTX TITAN Black驱动不能升级，cuda版本过低），给我的E5神机扩了256G内存。今年v4优先适配华为等国产芯片，才会真正打击到NVIDIA。让我们拭目以待。

holycow

4 Y$ a+ a5 ]  w: E& r" n& \3 B  l
( C9 x7 G# `. _$ _/ k% b假定A/O两家Infra是大肥鱼减半档的水平，给个毛估估的市值吧。又，记得阿猫呆说过推理的毛利率80%, 对得上。