DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。

沉宝

leekai 发表于 2026-4-18 21:09
% x, F) l; \' @8 L我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

, a" g! D. g5 c! z) b$ I2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！

今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。
" o  z5 B* j+ d. v, A" L
比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。

大黑蚊子

回首这个帖子
( p2 c7 Q$ o, X- e8 v( e% |7 J+ r如果去年就下手干他1个T的ECC DDR5内存的话...

9 C* C" m; B4 a* x; U4 T4 K俺就不用今年年初买个128G内存条那么心痛了

leekai

大黑蚊子 发表于 2026-4-20 13:43
1 Q% c" K2 r6 O! b( l: ?回首这个帖子
# C' C$ O  `9 G* a8 g8 E, k如果去年就下手干他1个T的ECC DDR5内存的话...

我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。