模型量化之后，我们把账算到了每一条问答

十月底我们帮澄海一家玩具厂的老板算了一笔账，算完他沉默了一会儿。

他的想法很简单：厂里有一堆产品图和客户问答的记录，想让 AI 能回答「这个玩具适合几岁」。

他先去打听行情，看完显卡报价就退缩了——按他的理解，跑得动的机器得六位数。他问我们有没有便宜办法。

有。我们把方案改成两段算。

第一段：模型不用挑最大的

这个需求其实很轻。回答产品适配年龄、材质说明、使用注意事项，文本量小，输出短。

用一个小尺寸的模型做微调，出来的东西跟大模型差得不多。但他一开始选了参数量最大的那一个，因为「怕不够聪明」。

我们给他的账是这样算的：一个更大的模型，机器要多买，加电费要多交，每次回答慢一点，客人等得久。三个代价全花在同一个「怕不够聪明」上。

选型第一刀，砍掉的是超出需求的那部分能力。

第二段：量化确实省显存

我们最后给他的是 4 比特量化部署的方案。同一台机器，模型能装下的体积小了一半多，机器的档次可以降一档。

量化不是免费午餐。精度掉一点，对「这个玩具适合几岁」这种有明确答案的问题没影响，对需要长链条推理的活就有影响。所以我们把机器上并排跑了两个版本做对比，结果差多少写在验收单里，让他自己看。

这一段是这次项目里最花时间的部分，也是最不该省时间的部分。省下来的钱比机器差价大得多。

还有一笔账老板最容易漏

硬件只是一次性投入，真正的长期成本在后面：谁维护、模型换了怎么更新、出了问题谁看、资料更新了谁重新训一遍。

小厂最怕的就是这套东西建起来之后没人管。所以我们建议：先只做一个流程，跑三个月，再决定要不要扩。三个月里如果有人每周真的在用，说明这事成了；如果没人用，那就是这件事本身没必要做，跟机器多贵没关系。

顺带提一句资料整理。我们发现厂里的产品资料有一半是 PDF 扫描件，还有一半在各种微信群和旧电脑里。这些不整理，做什么模型都没用。这一步很枯燥，但省不掉。文档怎么进系统、怎么变成机器能查的东西，文档解析那一篇写过细节。

本地部署这条路还有更基础的判断，本地部署大模型那篇讲了成本、机器和运维三块，汕头和揭阳、潮州的老板可以对着自己的实际情况看。

我们做本地部署的项目，交付的是一套能跑起来的东西加一份他自己看得懂的账，不是让老板从此依赖我们。

部署和评估按工作量算是有区间的，这只是大致区间，具体费用要根据你的实际需求评估。先出需求清单或方案，再给明细报价。想聊的可以打 13829578822，微信同号。