模型选型：一年前的评测报告已经过期了

11 月 2 日，斯坦福两位研究者发了一篇论文，把过去两年被反复引用的 50 条大模型结论拉出来，用 20 个模型重新测了一遍。

结果挺扎眼：44% 的结论已经过期，34% 明显减弱，只有 16% 还站得住，另有 6% 反而变强了。

更有意思的是寿命。他们统计了 22 条有明确失效时间的结论，从论文发表到结论不再成立，平均只维持了 15.7 个月。发表一年后 16% 过期，两年后涨到 39%。

最先失效的是「模型做不到什么」这类结论。九条推理类的老结论里，五条已经过期，没有一条还成立或变强。

举两个具体的。2023 年一项关于编造参考文献的研究里，GPT-3.5 编造比例是 55%。同样的提示词，现在 GPT-6.1 Sol 是 0%，Claude Sonnet 5.5 是 1%，但 2026 年的 Qwen3.7-Flash 仍然高达 69%。

这件事跟选型有什么关系

关系很直接。我们接触到的汕头老板做模型选型，最常见的一种做法是：找一份网上流传的对比表格，照着挑。

那份表格大概率是一年前的。一年前的结论，今天可能已经不成立了。

更麻烦的是，同样一批模型，不同结论的保质期差很多。论文里同一代模型之间，过期结论的数量从 DeepSeek V4 Pro 的 11 条到 GPT-6.1 Sol 的 30 条不等，发布时间、厂商、参数规模都预测不出来结果。

所以模型选型这件事，我的判断是：别人的表格可以当线索，不能当依据。

自己跑一遍，半天就够

不用搞复杂的评测。挑二十条你店里真实会遇到的事，让两三个候选模型各跑一遍，看结果就行。

比如客服回复的口径对不对、报价单能不能算对、活动文案是不是把店名和地址写错、把一段客户留言整理成表格会不会丢信息。这二十条里面有三五条是关键路径，挑出来就够用了。

跑完你会发现一件事：在你自己这二十条上，排名可能跟那张热门表格完全不一样。

我们帮一个潮州客户做这件事的时候，就是这样。热门表格上排第一的那个模型，在他自己的十条客服问句上有三条答错，另一个排第四的反而全对。

费用这块也有个数：论文里提到小模型分工协作在编程难题上，每题成本可以不到 1 美元。这条对老板有直接意义，大模型不一定非得从头到尾都用。

顺带带一句，我们的本地化部署也是按这个思路做的：不追求一步到位把最贵的模型装上，先拿你现有的活儿去测一遍再决定。

我们自己的选型过程也写在 帮厂里试装大模型，选型看的不是参数表 里；工具装了没用上的情况可以看 AI 工具用了一堆，为什么没效果。

模型选型和部署这块的投入一般按工作量算，这只是大致区间，具体费用要根据你的实际需求评估。先出需求清单或方案，再给明细报价。想聊的可以打 13829578822，微信同号。