DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。

沉宝

leekai 发表于 2026-4-18 21:09
我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

, `! E" p  S6 J2 e5 P3 ]+ Z; I6 q2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！
" I4 X' X/ X% D& n# p$ l/ ]: d% G
今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。

9 j# {  h' n6 ?: h6 ]比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。

大黑蚊子

回首这个帖子
如果去年就下手干他1个T的ECC DDR5内存的话...
' H$ t0 }5 j/ T" b
俺就不用今年年初买个128G内存条那么心痛了

leekai

大黑蚊子 发表于 2026-4-20 13:43
4 S, K( ?. R( _, T8 F+ a/ f+ o回首这个帖子
* p! h4 m# e: \& |$ i如果去年就下手干他1个T的ECC DDR5内存的话...

, d: e+ Y) O- a" J$ S8 k0 T+ R4 X我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。