首页 / 活动方案 / FastAdmin 定制开发 / 正文

145B 模型塞进笔记本,老板该问的是内存

发布:2026-11-15作者:汕头市星扬网络科技有限公司分类:FastAdmin 定制开发阅读:--

11 月 12 日 Edge0 开源了两个模型:Edge0 145B 和 120B 版本。官方博客里有一句话很抓人——首个能在个人电脑上本地运行的 145B 参数开源模型。

数字看下来是这样的:145B 总参数,每 token 激活约 101 亿,48 层 512 专家的稀疏结构,上下文 256K;峰值内存约 29GB,解码速度官方称 75 token 以上每秒。另一份说明里写明,这两款模型是从 Qwen3.8-Flash-Next 衍生来的。

消息一出来,转发最多的一条讨论是:这下笔记本也能跑大模型了。Edge0 145B 这个数字,看的人第一反应都是「参数好大」。

我的看法是:这条消息真正重要的不是 145B,是 29GB 这个数。Edge0 145B 能不能跑,跟你的机器够不够用,是两个问题。

办公桌一角,一只手把小型印章按在亮屏手机上

29GB 内存意味着机器得配到 32GB 以上。现在一台能用的办公本,16GB 是主流,32GB 要加钱。企业里的老机器更别提,8GB 的还有一批。

也就是说,「在笔记本上跑 145B」和「老板的笔记本能跑 145B」,中间隔着一次换机器的钱。这个钱花不花,是另一道题。

第二件事是这些成绩是自测。Terminal-Bench 2.1 拿 86.52%、对比 Claude Opus 4.6 的 78.2%,官方写得很清楚,这是公司内部评测。自己跟自己比、自己挑对手,这是行业通病,不能直接当结论。模型选型这件事,一年前的评测报告已经过期了那篇讲过这个道理:榜单的保质期按周算。

第三件事是最容易被忽略的:这两个模型是衍生来的,不是从零训练的。从零训一个 145B,那笔账是几亿美元级的。大模型调用价和成本那篇算过训练成本。所以你现在能拿到手的东西,是别人花大钱训出来的,你只花推理的钱。

办公桌上打开的笔记本电脑

那汕头老板该看什么?看自己的活需要多大的模型。汕头AI应用,三个月后还在跑的只有一件事那篇讲过:真正跑得下去的是最不显眼的那类活。报价单归类、订单对账、售后记录整理、快递单识别,这些活不需要 145B,一个几十亿的小模型够用了。

本地部署这件事,门槛从来不在模型大小,在你的资料出不出内网。大模型私有化部署,什么情况下才值得做那篇算过一次账:真正贵的是有人盯着它。

落到动作,我的建议就一条:先挑一件最烦、最重复、不涉密的活,跑一个月,看省了多少时间。系统这块我们能帮上忙,按你的业务流程定制功能模块,可对接你现有的系统,按需扩展。

还有一个细节值得留意。29GB 是峰值内存,真跑起来还要留点余量,32GB 的机器基本是及格线,64GB 才算宽裕。而现在一台 32GB 内存的办公本,价位在一万上下。这个钱如果本来就要换机器,那顺带装个本地模型不算额外开支;如果是拿家里的旧笔记本凑合,那就别折腾了。

Edge0 145B 这个案例其实挺有代表性。过去两年本地模型的进展,主要不是模型变聪明,而是模型变得能在更普通的机器上跑起来。本地部署大模型,先做部署还是先做选型那篇讲的顺序:先想清楚自己的活需要多强的,再决定机器怎么配。反过来做,钱白花。

设备间角落里的机柜

本地跑还有个好处老板往往忽略:断网也能用。工厂网络一到月底就卡,仓库那边信号更差。企业知识库这类东西,本地跑才划得来那篇讲过本地部署真正的理由往往不是省钱,是资料不外流。

想聊的可以打 13829578822,微信同号。

需要同款系统或硬件方案?

星扬网络科技专注小程序/系统定制开发与线下互动硬件方案,已服务 200+ 企业与机构。

咨询热线:13829578822(微信同号) · 邮箱:vancezhong@foxmail.com