本期你将看到:电老虎、猎奇配置、人多力量小、阴间主板。

玩本地大模型的你是否遇到过这样的问题:显存有限直接爆显存,带不动高量化的大模型;低量化模型虽然占用低、速度快,但语言逻辑和智商堪比边牧;高显存的卡要么故意让我们"拉接老哥"而远之,要么就是驱动和 CUDA 版本过于远古而问题频发。

但我这次的目标,是以最低成本实现 DeepSeek 32B 模型的运行,就必须尽可能节约成本。那我们垃圾佬最崇敬的"矿卡大人"能否拯救我们于水火之中呢?

于是我仅花了 114 元便包邮搞到了 5 张图吧传奇矿卡 P104-100。作为 GTX1070 的亲戚,这些矿卡个个都带 256bit 8G GDDR5X 显存,平均一个 G 显存只需要 110 块。这些卡中有两张是三风扇双八供电的矿泰模具,三张是双风扇单八供电的矿瓷模具。

这么多卡自然要找一个够夯的矿板来带。由于成本限制,我花 450 元买了一块双路 X79 的矿板。这板子第一印象就是大——放一个 mega 机箱和 MATX X79 寨板在旁边能明显感觉得到。板子用被动散热,应该是给有风道的环境准备的。CPU 和主板芯片组完全依靠 6pin 供电,通电即开机。一共有九条全长的 PCIe 插槽但肯定不是全速的,SATA 接口、网口和内存插槽各只有一个,USB 接口仅四个还都是 2.0,CPU 供电也只有四项——这才是真正意义上的"能用就行"。

CPU 方面我用两颗 2630v2,一共 360 块钱。内存硬盘是老演员,加起来算一张红票子。由于驱动冲突无法使用 2080Ti,于是用了一张 RX580 作为亮机卡。电源本来想用矿龙,结果测试当天被我不小心摔了一下安心地死了,只能把主力机昂达矿电多出来的 PCIe 供电拿来"输血",但数量不足,最后开机后因为严重过热降频几乎无法正常使用。最终我又额外花 180 块买了个台达 7000 转暴力扇,改装成了这么一台答辩硬件史上最为"劣气"的电脑——双路 CPU、双路电源、暴力扇散热、六路显卡、单通道内存、杂牌固态、手机当网卡,满载时"当量"突破 1100 吨的战术核弹,价格不算亮机卡仅需 719 大洋,加上无供电刀卡估计也不超过 750 大洋。

但开机进系统后我就傻眼了:我双 2630v2 的八个核心是不是被"史密斯专员"拿走了?我的超线程是不是变成"棍母"了?我的睿频是不是被隔壁推土机拿去充 8G 了?不过还是只能感慨牙膏 CPU 的神力,就算在如此多限制下,还是能达到 1000 分出头的 CPU-Z 成绩,爆打农企,依旧尊重 AMD 这一块。而且 USB 也挺"练习"的,直插动不动就断开,反而是用 USB Hub 时能正常使用。

虽然现在的魔改驱动比我刚开始玩矿卡那会儿"康"多了,全部伪装成 1070、什么设置都不用自己搞,但由于虚拟内存没设置,Windows 又强行分一大堆共享显存,每次开机都有一到两张 P104 不认卡,要么就是认卡但把我 RX580 的驱动给干废了——看来老黄的矿卡也挺尊重 AMD 的。最终在反复重装和蓝屏的折磨后,我戴上了痛苦面具,但也成功搞定了内存不足的问题,轻松装上 CUDA Toolkit、配置完多卡并行,就该测试大模型的运行效果了。

我找来三个对手来拷打这台"超算":第一台是上期的"超雄"双卡 GV100 核心双子星,第二台是 PS5 魔改 CPU 加 RTX 5000 8G 移动端魔改的魔改组,第三台是华为 MateBook X Pro 麒麟 R9 版携带制程 4060 8G。

先看 GPGPU 理论测试:这台"民用 C4"人多力量大,直接单精度干到了 35 TFLOPs,对于 30 系以前的卡来说是一个极其恐怖的数字,无人能及;双精度方面虽然快赶上 4090 了,但还是 HBM 显存的双子星更有实力,毕竟是专业计算卡。

接下来是大模型测试。先来个 DeepSeek 18B 热热身,三位对手都跑出了不错的成绩,显存占用均在 6G 左右。再来看看我们的"民用 C4"——哎你怎么跑这么慢?明明显存每张卡都只占用 2G 左右,而且负载还均匀摊到了五张卡中的四张里。直接中断后运行速度有所好转,但连对手的一半都比不上。那更大的模型就没问题了吧?骗你的,直接跑不了了。在 HBM 双子星早就完成测试时,它还在报内存不足。不管是千问 30B 还是 DeepSeek 32B,都是一样的结果。而且在跑千问 3.9B 时还出现了极其逆天的情况——前半段生成速度极快,到了后半段速度直接暴跌,最后喜提 3 token/秒的惊人成绩。最后试了下千问 2.5B,虽然能秒跑完、仅用一张卡也能完成,但 3B 这个量级离我们最初的目标差得有点太远了。

虽然个人技术有限、不会在 Linux 下测大模型,但这些现象也表明:矿卡多卡跑大模型是绝对不合适的——大的跑不了、中等的跑不过、小的都能跑。总结下来就是"理论有多强,实战就有多大垮"。

最后我心血来潮跑了一手娱乐大师——好家伙,这帧数、这跑分还是 P104 吗?这 CPU 瓶颈看来也不一般。而且这机子的测试也蛮折磨人的,比如乱动的风扇和超雄噪音,还有堪称"民用级 16D 电子战吊舱"级别的电磁干扰,看得出来这一堆矿卡和主板是一点电磁屏蔽都没做,给我的眼睛带来了极大的伤害。况且因为不停地测试调试,光待机空耗就烧掉了不少电费。

我从来没想过答辩硬件还能是个"集体奖项",毕竟这一堆破烂单独拆出来,都是极为"劣气"的存在。