帮厂里试装大模型，选型看的不是参数表

10 月 16 日凌晨，Meta 开源了一个 8160 亿参数的模型，叫 Muse Spark Open。最出圈的不是参数，是运行方式：两台顶配 Mac Studio 连起来，本地就能跑。

换句话说，从前要一间机房伺候的大家伙，现在能坐在你家书桌上。权重文件五百多个 G，下载下来就是你的。

新闻归新闻。真正让我想写这篇的，是上个月帮汕头澄海一家厂试装的那次——大模型选型那天，我们推翻了自己的第一版方案，过程挺值得说说。

第一版方案，败在机器上

厂里的需求很具体：把一堆常年没人翻的资料用起来，谁问都能找到。我们按榜单挑了两个排名最靠前的模型，方案写得漂亮，装到一半卡住了——机器跑不动。

加机器能解决，可预算直接翻倍还不止。厂老板说了句实在话：先别管哪个聪明，挑一个在我这儿跑得起来的。

榜单调了个个儿

我们换了个思路，拿厂里真实的资料和问法去试。榜单靠前的模型，考的多数是英文题；而厂里要处理的，全是中文、口语、带行话的问法。

换成参数少一半、中文更顺的一个，效果反而更好，机器也吃得下。选型选的从来不是最强，是最合身的。

这里还有个常被忽略的坑：压缩过的版本省机器，但有些精细活会打折。要不要用压缩版、折在哪，得拿你真实的活去试，光看别人的评测不算数。

装完只是开始

最后卡住的是人的问题。装完那天，厂里没人知道去哪问、找谁改。我们帮着定了两条规矩：资料谁整理、问题谁收集。听着很小，没有它，这套东西两周就会变回摆设。

所以现在跟人聊大模型选型，我都会先说一句：把顺序倒过来。先定要它接哪件活，再定资料能不能出内网。这两个答案出来，能选的方案通常只剩一两个。参数表，最后再看一眼就行。

投入这块从几万块的小机器起步，往上就没有顶了，进哪一档要看你要跑多大的模型、管多少资料。这只是大致区间，具体费用要根据你的实际需求评估；先出需求清单或方案，再给明细报价。

说到底，大模型选型这件事，答案不在任何一张参数表上，在你自己的车间和办公室里。

我们自己在做这件事——帮企业把大模型装在自己的机器上，资料不出门。小程序、系统定制是老本行。相关的内容写过两篇：企业要不要自己装一套 AI、中小企业把大模型装进公司，可以对着看。

汕头、潮州、揭阳想算自己那笔账的，可以打 13829578822，微信同号，先聊清楚再动手。