2026-10-08 09:00

本文来自 OpenFaaS Ltd 团队的真实实践,将分享团队采购 4 台 DGX Spark 硬件的决策缘由、部署过程,以及落地本地 AI 过程中收获的经验教训。

原文链接:https://blog.alexellis.io/how-and-why-we-bought-4-dgx-sparks/

(文章用第一人称叙述)

在此之前,我们已经使用 RTX 6000 Pro 显卡跑 Qwen 3.5‑3.8 27B 模型数月,既体验过高性能独立显卡,也积累了大规模统一内存集群的实操经验。Qwen 属于轻量稠密模型,反应迅猛,但需要人工谨慎管控;而 DeepSeek、GLM 这类更大的模型,能够在更少人工干预下处理复杂问题,但推理速度更慢、上下文窗口更大。

做本地 AI,核心是掌握数据主权。

使用云端大模型,所有对话、业务资料都会传给服务商。多数平台会留存数据用于模型训练;就算开启不保留设置,数据仍可保存最多 30 天,触发告警的记录还会永久留存,甚至封禁账号。

对我们团队来说,部署本地 AI 不是喜好,目的是管控企业敏感数据,不靠省云成本回本。不是建议所有人照搬,但自建本地环境,能降低业务风险 —— 数据一旦流出管控范围,就不再真正属于自己。

很多人误以为 ChatGPT、Claude 对话完全保密,实际并非如此。部分场景只能用本地模型,例如未脱敏的 K8s 故障日志等不能交给第三方的数据处理工作。

有人认为服务商的零留存协议就无需自建硬件,也有人算过硬件回本要数年。我们两点看法:

  1. 数据传给第三方,本质就是数据共享,口头承诺不可完全信赖;
  2. 依赖外部推理服务,会带来各类业务风险。

Anthropic 报告显示,至少两家 AI 服务商未经用户许可,将用户请求转发至 Anthropic 接口,造成涉密方案、国防凭证、人员档案等高敏感资料外泄。报告提到,AI 服务商掌握的海量业务敏感情报,体量甚至超过各国政府与国际组织。

云端还有隐藏风险:ChatGPT 对话记录可凭法院传票,作为法庭证据。另外 OpenAI 曾用内部 AI 快速攻克纳维‑斯托克斯方程难题。有学者用 Codex 同步研究,OpenAI 称该学者提示词未被取用训练。这件事值得思考:如果学者全程使用本地模型,OpenAI 就不会接触到这项研究线索。

本地 AI 关键术语速查表

本地 AI 入门门槛不高,但需要搞懂基础专业名词:

术语

释义

Prefill(预填充)

分词之后,一次性并行处理全部提示词 Token,生成激活值与 KV 缓存,为后续生成做准备。20 万上下文冷启动预填充,2000token/s 速度下大约需要 100 秒。

Decode(解码 / 生成)

模型输出回复的过程,性能单位一般为几十到几百 Token 每秒。

Speculative decoding(投机解码)

由一个更小的草稿模型生成 1‑7 个候选 Token,主模型再校验候选结果,衍生技术包含 MTP、DSpark、DFlash。

UMA 统一内存架构

核显和系统共用同一套内存池。

VRAM 显存

GPU 专用内存,带宽远高于普通系统内存。

KV cache

保存预填充计算结果,每一轮对话无需重复运算,可以快速复用。

Quantization 量化

原始模型一般为 BF16 精度,体积庞大;量化压缩会小幅损失效果,但缩小模型体积、提升运行速度。

BF16、FP8、NVFP4

模型权重精度格式,效率逐级提升,但输出质量会逐步下降。

vLLM

开源生产级大模型推理运行库,Python 编写。

llama.cpp / llama‑server

功能类似 vLLM,使用 C++ 编写,新手上手更加简单。

C1、C2 等

推理服务同时处理的并发请求数;一个智能体任务可以衍生 4 个子任务,即 C4。

稠密模型 vs 混合专家 MoE

稠密模型每生成一个 Token,全部参数都会参与运算,性能高度依赖显存带宽;MoE 模型拥有大量专家模块,每次仅激活一小部分,普通内存也可以跑出可用的生成速度。

从 Qwen 到 DeepSeek:本地模型能力的迭代

我们已经在 RTX 6000 Pro 上调优完成 Qwen 3.6 27B。在大量智能体、代码任务中,生成速度超过 100Token/s,两条并发任务性能衰减很小。我们开始把原本交给 Claude、Codex 的真实业务交给 Qwen 处理。面对带有完整 [AGENTS.md](AGENTS.md) 说明的代码仓库,它几分钟内就能产出经过充分测试的 Pull Request,质量优于绝大多数社区开发者提交的 PR。

但这套方案有两个恼人的缺陷:即便配置好对话模板,模型调用工具之后经常卡顿,严重时会陷入无限循环。我曾经听见设备风扇高速运转,以为智能体正在处理任务,半小时之后才发现终端在不停重复输出同一行文本。

因此使用本地 AI,离不开人工监督;如果放任无人值守运行,很可能白白消耗半小时上千瓦功耗,却得不到有效输出。

之后 DeepSeek V4 Flash 0731 模型吸引了我的注意。不少中小企业从业者都被它的评测效果打动。它参数量级接近 Qwen 的 10 倍,代码与智能体任务基准测试成绩亮眼。但在 RTX 6000 Pro 上,它的解码速度只有 Qwen 的一半,40Token/s 的速度,我一开始都不确定能否投入实际工作。

我的朋友 Jacopo(活跃于 Kubernetes 社区)恰好购入两台 DGX Spark 来跑这个模型。他公开了双机部署配置方案,我们通过我搭建的加密 inlets 隧道开展协作。我把服务接入 opencode 配置,初步结果很鼓舞人。不过社区方案宣称的 65‑85Token/s 存在测试陷阱:该数字来自 “从 1 数到 200” 这种高度可预测的测试样例;真实业务场景,速度大多落在 30‑40Token/s。

出于安全顾虑,我们把这套远程端点当作公网服务对待,担心输入输出会被记录留存。我每天大概会产生 7000 万‑1 亿 Token 流量(包含缓存命中),只用来处理开源项目和内部产品智能体任务,严防密钥泄露。经过一周反馈迭代,我们持续优化了部署方案。

对比 Qwen 原生 256K 上下文窗口,DeepSeek V4 Flash 社区方案支持单会话 100 万 Token,能够完成规模更大、少人工干预的任务。过程中也出现过 tokenizer 异常,输出韩文字符加换行造成循环生成,及时干预后没有反复出现。

起初我以为两台 DGX Spark 就足以覆盖全部需求,后续业务的拓展,让我们不得不继续追加硬件。

采购、硬件上手与部署踩坑

RTX 6000 Pro 我们购入时约 8500 英镑,短短数月市价已经涨到 16000 英镑,硬件价格波动带来很大压力。两台带 4TB 硬盘的 DGX Spark 采购价接近一万英镑,而且当月刚刚涨价。

经过大量测试之后,我们正式下订单。业务上我们对两个模型有清晰定位:Qwen 依旧充当 “攻坚犬”,速度快、目标明确,但需要严密监管;DeepSeek 作为探索者,负责产品方案规划、报告撰写、串联多项能力完成端到端产品测试、挖掘新想法,它也可以完成 Qwen 的全部工作,只是速度稍慢。

我们从 NVIDIA 合作经销商下单。同期还有价格更低的 1TB 版本华硕 GX10,但 4TB 硬盘必不可少,方便后续测试各类量化版本和新模型。

DGX Spark 创始人版做工精致,运行噪音极低,体积和 M1 版 Mac Mini 接近,但内存容量接近后者十倍。设备开箱配置不需要显示器:设备会开启 WiFi 热点,用户连接热点,输入手册上的密码即可;系统完整更新之后热点关闭,设备会重启 10‑15 分钟。这里容易产生困惑:浏览器页面会一直显示进度条,但页面本身不会更新状态。

Jacopo 使用 Codex 完成他设备上 DeepSeek 部署,我也参考这套路径。我理解模型权重、NCCL 通信、KV 缓存、量化的基础概念,但没有深挖底层全部细节。此前 Qwen 我们直接在宿主机部署 vLLM,DGX Spark 生态大量基于 Docker 容器。这里的容器并非强隔离环境,GPU 裸设备直接透传给容器,主要用来统一打包软件资产与底层依赖。

因为饱受云端模型提示词拦截、内容过滤的困扰,我们也测试过社区的“去过滤” 权重。修改后的权重确实可以接受基础模型拒绝的提示。但是安全评测对比,基础模型安全提示合规率 11/12,去过滤版本 12/12;副作用是配套草稿模型接受率大幅下滑,源于主模型与草稿模型分布偏移,同时社区反馈这类权重更容易出现死循环。除非有极强业务理由,我们不会在生产中使用这类修改权重。

自建内部 MaaS 服务

我介绍过自研内部大模型网关 toilgate。它可以自动发现集群内自托管模型、采集详细使用指标,人员通过 OAuth 鉴权接入,自动化机器人分配独立 API 密钥。它解决隧道暴露端点带来的运维痛点:模型随时可能切换、设备宕机、用量审计困难、版本更新、API 密钥管理。我们为 opencode、pi 测试框架开发插件,启动时自动加载全部可用模型,还提供 auto 自动选型模式。

单个人使用模型时,负载、使用时间都可控;团队多人共用,维护更新、测试新模型的复杂度会显著上升。即便是同一个模型,不同厂商、社区的量化版本性能表现也存在差异。例如 GLM 5.3 Flash(总参数量 320B,激活 18B),NVIDIA 官方 NVFP4 量化版本预填充速度领先 20%,但解码速度比 LibertAI 实现慢 7%。

警惕被夸大的跑分数据

DGX Spark 相关部署资料,大多散布在 X 社交平台和 NVIDIA 官方论坛。评测模型、运行库、部署脚本、量化方案时,经常遇到无法复现,或是为博流量刻意虚标性能的情况。

投机解码几乎是必开的优化手段,它可以把解码速度从 30Token/s 提升至 100Token/s,但对预填充阶段几乎没有帮助。跑分结果高度依赖输入任务、上下文配置、并发请求、模型架构、运行参数。市面上基准测试基本分为三类:

1.散文创作:真实小说文本生成,速度最慢;

2.结构化输出:经典测试用例就是“从 1 数到 200”;

3.代码生成:内容重复度高,速度可以达到散文生成的 2 倍。

智能体工作看似大量输出结构化内容,但很多跑分依赖“数数” 这种 LLM 最擅长的简单任务,参考价值有限。同时跑分还有其他作弊手段:关闭思考过程、限制最大生成长度仅 400Token。为此我们开发 RigMark 基准工具,面向代码与智能体任务产出客观可复现的性能数据,社区也可以提交 PR 补充 4 台 DGX Spark 集群的各项模型跑分。

为什么最终要凑齐 4 台 DGX Spark 集群

在 Qwen、DeepSeek 落地尝到甜头后,我们计划用本地模型做产品红队安全测试。Hugging Face 曾使用 GLM 5.2 完成安全对抗演练,并且公开了自托管部署指南;该模型在 CyberGym 安全测试数据集表现优异,于是我们把流畅运行它设为目标。

需要澄清一个认知误区:AI 不会凭空自主发起网络攻击。所谓 AI 参与攻防,本质是人下达目标指令,驱动大量 AI 智能体去完成夺旗类安全任务。

GLM 5.2 参数量 753B,没有任何消费级独立显卡能够完整加载,只能依靠 DGX Spark 集群的统一内存架构实现运行。

OpenFaaS 是一套基于 Kubernetes 的无服务器函数平台,不绑定单一云厂商,广泛应用医疗、国防、油气这类强监管行业;SlicerVM 用来隔离 AI 代码智能体;Inlets 是安全网络隧道产品。做产品安全,除静态代码审计、聘请安全专家、漏洞披露流程之外,还需要主动模拟黑客攻击挖掘漏洞,和安全研究员协同修复缺陷。

这类安全审计计算开销巨大。如果用 Claude、Codex 做红队测试,很容易触发平台风控告警,账号有永久封禁风险。部分云厂商的网络安全专项计划,还要求关闭零数据留存功能作为准入条件,意味着企业核心知识产权会被服务商留存甚至用于训练。我们可以接受业务数据 30 天短期留存,但绝对不希望核心知识产权被永久保存、用于迭代第三方模型。

我原本以为红队测试需要去过滤版本权重,实际 DeepSeek 和 GLM 原生权重就可以完成攻防推演,不会出现说教式拒绝输出。另外我还预先准备采购 1500 英镑的 MikroTik 交换机用于 4 机组网,后续我们通过修改 NCCL 通信库,实现无交换机集群:设备不直连的节点,经由相邻机器做数据转发,实测性能和交换机方案基本持平。硬件接线为环形拓扑,跨对角节点流量走邻居中转。对应的无交换机 GLM‑5.3 Flash TP4 部署脚本、NCCL 补丁已经开源在 GitHub。

对于企业来说,只要这套集群能够挖出 1‑2 个高危安全漏洞,产生的业务价值就足以覆盖 4 台 DGX Spark 的硬件投入。

落地本地 AI 现实痛点

最后聊三个现实问题:显卡派与统一内存阵营争论、新模型层出不穷带来平台风险、普通个人是否值得入手这套硬件。

网上大量声音宣扬“必须上独立 GPU”,拥有高价硬件的用户,很容易强化自己当初的采购选择,否定另一条技术路线。过去 DGX Spark 的统一内存方案,在 Qwen 27B 这类稠密模型预填充、解码场景,性能比不上独立显卡。我们同时拥有两条路线的硬件,不需要二选一。综合实用性、综合成本、实际表现,DGX Spark 给我留下很好印象;相比大型 ATX 机箱 PC,它放在家庭办公室占用空间很小,2026 年组装一台同规格 PC 成本甚至更高。

DeepSeek V4 Flash 刚好适配双机 Spark,更像是运气。后续 4.1 Flash 模型权重体积几乎翻倍,还新增 N‑gram 查找表,需要放到 NVMe 固态硬盘或者挤入内存。

四代同代硬件确实存在技术迭代风险,但现有模型依旧可以稳定跑在这套集群上。就算未来新模型体积翻 2‑4 倍,也不会废掉当前硬件的使用价值。只要现有模型对业务还有几万英镑的价值,硬件投资就不算白费。有消息称 NVIDIA 初代 DGX Spark 已经停产,但华硕、戴尔、微星等第三方厂商会持续推出兼容同类硬件。

大模型行业迭代飞快,但我们要回归业务现实。现在做产品工作,我会优先用 DeepSeek V4 Flash 0731、GLM‑5.3 Flash,而非 Claude、Codex 这类顶尖闭源模型。很多场景本地模型输出效果接近 SOTA,同时规避前面提到的数据风险。

普通个人家庭做本地 AI,不存在低成本捷径。主流 NVIDIA 显卡价格逐月上涨;曾经热门的 3090 功耗巨大,风扇噪音如同吹风机。5090(32GB 显存)虽然可以跑 27B 模型,但留给 KV 缓存的余量捉襟见肘;很少被提起的 Blackwell 架构 RTX 5000 Pro 拥有 48GB 显存,1.5 槽涡轮散热,适合长时间不间断运行,可以高质量跑 27B 模型,还预留充足 KV 缓存空间。

总结

我的本地 AI 实践一路走来,从最初低效的摸索,逐步变成企业业务、客户支持的重要组成。2023 年我购入 RTX 3090,24GB 显存很快跟不上模型需求,第二张 3090 也大多闲置。直到 2026 年 2 月 Qwen 3.5‑27B 问世,彻底改变本地大模型格局。之后添置 RTX 6000 Pro,把 Qwen 用于高监管、强管控任务。

DeepSeek V4 Flash 进一步拉高本地模型的推理与代码能力上限。GLM 5.2 成为我们内部红队测试目标,而更新的 GLM‑5.3 Flash 基准更强、运行更快,我们切换到该版本。一周之内,我们让 Qwen、DeepSeek、GLM‑5.3 Flash 开展本地安全对抗演练,挖掘出真实的高、中、低危产品漏洞并完成修复。颇具讽刺意味的是:当我把这批漏洞报告提交给 Claude 时,Anthropic 直接触发了账号告警。

部署本地 AI,不是为了在 Token 费用上省小钱,靠云账单差价回本往往需要数年时间。它真正的价值,承载那些绝对不能对外泄露的数据,支持云模型不允许的特殊工作流,拿回 AI 运行过程完整的数据主权。