DeepSeek R1全参数模型一个可能的本地部署方案

leekai

我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440，用下来感觉单路CPU更合适。期间装了N多大模型，现在只剩ragflow+qwen 3.5 ，35b做map，27b做reduce，都刚好可以单卡运行。前两天刚跟风试了turboquant，效果挺好。今天发现qwen 3.6发布，并且有UD IQ4量化，正在下载准备试试。
. |4 v; r$ ~; i5 r2 y1 K现在有更好的选择，IBM AC922，六块v100 16g准系统闲鱼上报5800元。

沉宝

leekai 发表于 2026-4-18 21:09
; P. M: z+ x3 U# K我去年春节也攒了台x99 双路e5v4+256+2080魔改22g*2，硬盘因为以前装nas不用买，后来淘了Dell730 HP z440， ...

; K. ~5 Y( V" Y2080和v100的优点是可以通过NVLink 获得很大的显存。缺点是缺乏 fp8 等先进架构的支持。不过看在那价格上，还能说什么呢？！

( [7 l9 R6 m. ^8 |* a今年较之去年，最大的一个变化是像小龙虾之类的智能体流行起来了。通过不断的自我进化，智能体在很多方面可以达到和超过简单使用混合专家模型(MoE)。而智能体的后台模型，如果想跑在自己的机器上，小一些的稠密模型其效果往往好于MoE。与人相比，智能体的AI对话中提示词的长度平均增长了许多倍，从而也就要求更强的KV缓存。如此turboquant正逢其时。

比TurboQuant更强的还有RotorQuant。感兴趣的话可以关注一下它在你使用的模型上落地的进展。

大黑蚊子

回首这个帖子
如果去年就下手干他1个T的ECC DDR5内存的话...
3 r( F. _6 J' i  d# u; N
9 {& W! b: Y. e4 @: q, N9 N9 ~俺就不用今年年初买个128G内存条那么心痛了

leekai

大黑蚊子 发表于 2026-4-20 13:43
回首这个帖子
如果去年就下手干他1个T的ECC DDR5内存的话...

我一直以为自己加钱换了512幸好前两年弄了几根1T 2T 4T的nvme还有SATA SSD，就是去年初看来看去没买氦气盘有点后悔。