Beam 与开放模型的算力经济学：Reflection AI 的端到端下注
导语
Reflection AI 联合创始人兼 CEO Misha Laskin——此前在 Google DeepMind 的 Gemini 强化学习团队做研究——这期 No Priors 上与 Sarah Guo、Elad Gil 聊了 Beam：公司第一个开放模型，以及一家西方实验室要把前沿级开放智能造出来、发出去，究竟意味着什么。整场对话是三层叠起来的论证：为什么规模化的强化学习逼着公司自己 pre-train；这件事的经济学为什么完全不像"pre-training 贵得离谱"的民间传说；以及为什么开放、而不是封闭，才是安全的默认态。
从 RL 实验室到端到端造模型
两年半前创业时的下注很清楚：让聊天模型对齐的强化学习，搬到数学和编程上，就能让系统 agent 化；作为独立实验室，在大家预期会出现的开放基座上做这件事，资本效率更高。第一年给出的是双重意外：RL 见效比预期快——o1 正是那时在行业里出来的；而所有好的开放模型都来自中国，并没有真正好的西方基座可用。于是决定端到端自己造开放模型：十二个月冲刺，公司从大约三十人涨到约三百人，pre-training、mid-training、RL 团队齐装，第一批模型从头训到尾。最重的是那个研究原因：要让强化学习在大规模上跑好，就必须自己 pre-train——两者耦合太紧，只能两件都做。
资本阶梯
追上前沿要花多少钱？一年前大约几亿美元量级；半年前是个位数十亿；进入明年，百亿量级。阶梯背后的启发式：每一代模型大约四倍的算力乘数——几年前的前沿运行也许是十万张 H100，然后是十万张 Blackwell，下一代大约十万张 Vera Rubin。渐近线的问题得到两段式回答：前沿实验室已经投入数千亿美元，接下来一两年到万亿多半不太可能——但效率在复利。只靠人类研究员时，改进大约每年七倍，对着 pre-training loss 是技术上可追踪的；现在跨整个系统、模型参与构建自己之后，Laskin 给出的数字是大约三十倍效率，取决于你的模型多擅长改进自己。而每次训练 flop 榨出的智能、每个 flop 产生的收入，都还在涨。
RL 花的 flop 比 pre-training 还多
Beam 本身把惯常的成本图景倒了过来。总参数五千亿、激活二百三十亿；pre-training 用了六千张 GB300——当时几周，现在加上基础设施效率大约十二天、可能更少；而强化学习用了略多于一万张 GB300 跑四周。花在 RL 上的 flop 比花在 pre-training 上的更多，规模是 Reflection 所信的开源世界从未有过的。精神祖先是 AlphaGo：一条从不停止改进的曲线，直到赢了世界冠军才被主动停掉——Laskin 说自己实验室的 RL 系统同样从不停止学习。这个领域已经从"能不能训练出来"走到"从哪里拿数据"：规模化变成一道投多少钱换多少改进的经济学题。
锯齿状智能与数据配方
代码和 agent 类工作奠定基础，而建在其上的智能是锯齿状的。它泛化得出人意料——能力以让 Laskin 自己惊讶的速度拼接起来——却又锯齿：连 terminal-bench 的不同版本之间、不同 harness 之间的泛化都不干净；而一旦新 harness 有了对的数据，适应又很快。锯齿感决定了配方：走到客户那里，找有经济价值的场景，为他们的任务搭评估，再生成逼近任务的合成数据——泛化得很好——全程不在客户自己的数据上训练。点名的垂类：金融的 KYC 与合规、网络防御、法律，以及企业内的 agent 化垂类。对买方来说，开放模型的红利是逼近帕累托最优的定制：对他们的负载，最低成本、最高性能。这里有一条第一方产品主张：Beam 在同档模型里快三到四倍，对上更大的模型收益约十倍——CEO 在描述自己的产品。
先租，后拥有
在 Laskin 的讲法里，开放与闭源模型的商业化相当相似——都是把推理量做到最大——差别在租与拥有。买一个 token，你租下的是整个栈的一角：harness、模型、推理软件、集群管理、GPU，全部摊销进 token。企业长出"拥有"的念头，就像租房的人长出买房的念头。Reflection 观察到的采用顺序是：企业先在闭源模型上把负载爬大——一年一亿美元以上的支出毫不罕见——然后才考虑开放模型；没有一条直线冲刺到"拥有"的路。与此同时 on-prem 正在有意思地复兴，一部分原因是算力短缺：从超大规模厂商拿不到足够算力、拿不到好价格的企业，转向 Dell 这样的供应商买裸金属。而主持人最锋利的框架得到嘉宾的认同：企业的大多数价值将来自围绕模型定制系统——多数企业 token 消费不来自定制模型，而来自定制系统。网关的数字指向同一方向：大约半年内，组合几乎正好翻转，从七三开闭源对开放变成七三开开放对闭源；终局像操作系统——95% 以上的服务器和计算机跑开源系统，而微软和苹果照样极其值钱。对"90% 以上是定制过的"这个他从专用推理服务商处听来的统计，嘉宾自己补了前提：今天最大的客户是 Cursor、Cognition、Abridge、Harvey 这类 AI 原生公司，整个产品就是一次大定制。
赢的公式
在一个处处竞争的市场里谁赢？Laskin 的公式：持久收入 = 你能提供的智能密度 × 你有多少算力 × 组织对你的信任。算力稀缺——而且大概不是暂时的——整个栈上的一切都在被商品化：开放对闭源的张力压模型毛利，应用层、推理层、裸金属同样；AI 原生公司正因为开放生态的存在，才把云合同谈得那么凶。
中国：礼物、captive market 与特洛伊木马
中国开放权重模型的崛起，首先是巨大的利好——一份礼物；没有它，世界上根本没有开放模型，只有"砍高个子"的世界：应用层的成果被闭源厂商吞掉。但单极才是问题，两个方向都一样：十家二十家闭源实验室是健康生态，一两家就吓人；开放模型的来源同理，下限是至少两家。中国实验室有真实优势：以工业规模蒸馏闭源模型，在自家法规下拿到近乎免费的版权数据，还有某种形式的国家支持。财富 500 强里大多数的开放模型渗透率今天仍然很低，一部分来自对中国模型的抵触。那为什么持续开放？中国在某种程度上是 captive market，开放模型厂商就是那个国家的智能供应商；持续发开放模型在地缘政治上有利，因为每个国家都希望别国构建在自己的东西上。于是有了全集最锋利的一句：开放模型是随之而来的基础设施的特洛伊木马——5G 与一带一路的模式重演，华为正进场卖全栈。Laskin 同时点明：美国当年对互联网、开放协议、美元、靠无处不在的海军背书的自由贸易，玩的是同一套打法；而在开源上，美国直到最近都处在下风，追赶还没完。
开放即安全的默认态
对闭源实验室的安全批评，Laskin 的回答是：担忧正当，但既有的安全世界观已近乎教条。从第一性原理看，AI 像先进的软件，而软件做过这个实验：封闭一侧灾难性失败之后，强加密协议走向开放，催生了整个网络安全领域。世界的默认状态，他主张，就是开放即安全——Linus 法则延伸到漏洞上。实证的症状：一个非常强大的闭源模型带来意外后果、黑进了另一家公司，而后者唯一的补救方式是开放模型。他把被混为一谈的几种安全——网络攻击、生物武器、存在性威胁——放进一条从经验现实到理论场景的谱上，承认 AI 有科幻成分，同时把"10% 概率全灭"归为编造的数字。对齐至今：无聊得令人失望，没有魔法方程，就是打地鼠，用 post-training 数据补洞。而移除攻击能力同时移除防御能力：OpenAI 与 Hugging Face 那次事件里，用户回退到开源，因为最先进闭源模型的护栏把他们挡在了外面。"除了我们谁都不该拥有"的绝对主义立场，他说，几乎找不到真正奏效的先例。
一周一个博士，和数据中心工厂
最让他兴奋的是科学进步。他的个人基准是拿自己的博士论文当 prompt：两年前模型什么都做不了；一年前答到本科水平；半年前在真正的博士水平上把它解对。问题迭代、计算外包——一周就能读完一个博士。黑板之外，是真实世界的科学——生命科学、材料、化学——加上专有数据的飞轮。经济侧，数据中心项目创造数以万计的高薪岗位和税收：对一个小镇来说，数据中心就是当年的工厂。
稳态：一百名研究员
人均算力不断上涨，研究团队人数会崩塌吗？Laskin 预计有个大约百人量级的稳态——AlphaGo 大约十个人，大型项目一百或几百人；三千名研究员不如两三百名顶用。数字背后的结构：五到十人的小队各攻一个特定能力，仅编程就有五到十个能力；模型走进企业时，每个真实世界能力又各需一个小队。真正的岗位创造，他说，是一种新型部署工程师——更偏科学、以评估为导向、与核心研究员同一套技能、对准真实问题——那是培养缺口，不是需求缺口。
访谈精粹
8 组核心对谈- 问
大约一年前你们真正下决心自己做模型——是什么驱动了这次野心和投入的转变？
Sarah Guo 提问03:56答Misha Laskin 回答公司大约两年半前成立。我和联合创始人 Giannis 此前在强化学习团队做第一代 Gemini 模型——他带那个团队，是 DeepMind 的创始工程师之一，也是包括 AlphaGo 在内各大 RL 项目的关键贡献者——那时刚发布 Gemini 1 和 1.5。那个早期年代基本是聊天体验：没有编程、没有 agent，约 95% 的算力花在 pre-training 上。作为 RL 研究者，我们的下注是：让聊天模型对齐的 RL 是有效的，把它搬到数学、编程这类领域就能让系统 agent 化；而且作为独立实验室，在开放基座模型之上做这件事资本效率高得多——当时 Mistral 的小模型、Llama 2 已出，Llama 3 在路上。第一年里 RL 见效比预期快——o1 正是那时出来的；我们原以为要更久，因为从 ImageNet 到规模化可用的 RL 系统走了大约四年。但一年之后，好的开放模型全部来自中国，没有真正好的西方基座可用，于是我们决定最有影响力的一步就是自己端到端造开放模型。有企业原因、地缘政治原因，还有一个研究原因：事实证明要让强化学习在大规模上跑好，必须自己 pre-train——两者耦合得太紧，只能两件都做。
- 问
Beam 的推理效率有多高？这种效率从何而来？
Sarah Guo 提问19:55答Misha Laskin 回答Beam 是为编程和 agent 任务训练的模型——它擅长的就是这些——而造模型时重要的不只是能力，还有 agent 多快完成任务：它直接转化为更快的负载时间和更低的成本。如果你在最常用的 AI 聊天里等过十分钟答案，一分钟拿到显然好得多。Beam 在同等能力档的模型里大约快三到四倍，对上外面那些更大的模型，效率收益大约是十倍。原因在于我们既押了为推理打底的强 pre-training，又用强化学习去放大它——规模是我们所信的开源世界里从未有过的：我还没见过公开记录的一万张 GB300 四周 RL 运行。这套设置和 AlphaGo 一脉相承：最早的 agent 解题时很'游荡'；到李世石水平时，它的搜索已经非常聪明。RL 跑得越多，能力越高、解题越快。也因为我们本来就是 RL 信徒，我们记得第一批 AlphaGo 系统先在人类棋谱上做模仿学习、再做强化学习——两者要一起工作；副产品就是这个经济上很有价值、推理高效的模型，可作为企业、公共部门与主权客户的主力。
- 问
开放与闭源的 token 格局，正走向哪里？
Sarah Guo 提问25:05答Misha Laskin 回答轨迹已经看得见。大约半年前，在 OpenRouter、Vercel 这类网关上还是闭源占多数、开放占少数，而现在几乎正好翻转——从七三开的闭源对开放，变成七三开的开放对闭源。我认为这只会加速，而世界最终会和操作系统差不多：95% 以上的服务器和计算机跑着 Linux 这样的开源操作系统——这并不意味着闭源不值钱，微软和苹果都是极其值钱的公司，这个市场真的很大。我预期大多数 token 需求流向开放，而且这里有个大差别：相当多经济价值也会流向开放这一侧——模型免费之后，赚钱的是它周围那一圈：跑它所需的一切仍然昂贵，算力贵，GPU 又是比 CPU 贵得多的算力底座，围绕开源模型会长出一种不一样的云，开放生态公司赚的就是这一层的钱。我预期大多数 token 流向开源、极其值钱的闭源模型公司继续存在，同时存在一个有价值的开放模型公司生态和围绕它们的各类分销商。
- 问
企业是否仍会从闭源模型起步再迁移过来，以 harness 作为定制开放模型的机制？
Sarah Guo 提问29:02答Misha Laskin 回答这是我们的观察：企业考虑开放模型的时点——而我们对话的大多数企业现在都在考虑——是他们在闭源模型上把负载爬到相当规模之后。我没见过一条直线冲刺到'拥有'的路；必须先经过租用阶段，直到成本驱动大到让你问'怎么降成本'。如果你一年在闭源模型上花一亿美元以上——这毫不罕见——你就会开始想更优的做法。而且 on-prem 正在有意思地复兴，也因为算力短缺：企业从惯用的超大规模厂商那里常常拿不到足够的算力、拿不到好价格，既然花这么多钱，不如找 Dell 这样的基础设施商搭裸金属，向自己的企业内提供服务。我们的角色是帮企业做成解决方案——这是方案驱动的：AI 原生公司自己造方案，企业需要更多帮助。很多企业在闭源模型上建了覆盖数亿客户的 agent，正想放量；而进门只说'我卖你推理'是行不通的——我没听说过那样做成的。
- 问
随着中国开放权重模型的崛起，未来一两年这个生态会怎么走？
Sarah Guo 提问34:55答Misha Laskin 回答第一件事：从中国长出一个强大的开放模型生态，其实是对世界的巨大利好——西方那么多公司因此能建立更持久的生意。这是非常正面的事，是一份礼物；否则世界上就没有开放模型，还会出现'砍高个子'综合征——应用公司做出任何好东西都会被闭源模型厂商吞进去。但你也不想要任何意义上的单极世界：资源和算力集中在少数闭源实验室，或者所有人赖以构建的智能来源只出自一个国家。若有十家二十家闭源实验室，那是健康的竞争生态；一两家就有点吓人。理想状况下开放模型的来源也有十家二十家，但资本开支太高，至少有两家就很好——所以西方有一个竞争的生态极其重要，而这其实不是西方对中国的故事：如果所有好的开放模型来自中国以外的任何一个国家，你也会想要同样的竞争张力。中国模型有真实的优势：以工业规模蒸馏闭源模型，这是事实；拿到便宜得多、几乎免费的数据，因为在中国用带版权的 PDF 训练没有问题；还有某种国家支持，或直接或间接。这些公司正在变成真生意——中国境内的闭源实验室等价物——我认为他们会继续造出好模型。
- 问
让中国模型公司持续开放模型的激励系统是什么？
Sarah Guo 提问40:10答Misha Laskin 回答我的假设是：中国在某种意义上是一个 captive market——你可以做开放模型，同时在国内赚到很多钱。有个有意思的现象：西方有不少好公司不造开放模型、只做围绕它们的服务；我在中国没太看到这种分工。所以开放模型厂商某种程度上就是那个国家的智能供应商，而持续发布优秀的开放模型，对中国在地缘政治上非常有利。作为一个国家——这对任何有此能力的国家都成立——你都希望别的国家在你的东西上构建。此前的对抗已经给出模式：5G 光纤铺设、一带一路——向他国廉价提供某样东西、让后者锁进你的基础设施，商业与地缘政治的收益都是真实的。我把开放模型看作随行之基础设施的特洛伊木马：光有开放模型没什么用，你会随之买进一个国家完整的软件与基础设施生态。今天盟友国家也许还在美国芯片上跑中国模型，但华为这样的中国公司正在进场提供全栈方案，把那些国家锁进自己的供应。把 AI、芯片和数据中心几乎当作铁路——别国都得来找你修的基础设施——你就握有巨大的地缘杠杆。美国当年正是这样做的：互联网、开放协议、开源、美元、靠海军背书的自由贸易。在开源上美国一度处于下风——现在不再是——不过中国的竞争者确实非常强，还有追赶要做。
- 问
闭源实验室对开放模型最大的批评是安全与可控——你的哲学是什么？这算正当担忧吗？
Sarah Guo 提问44:44答Misha Laskin 回答这绝对是一个正当的担忧。但既有的安全世界观来自某一个特定视角，而且已经近乎教条。从第一性原理出发——这项技术注定会被造出来；如果从零开始设计安全，你会怎么做？AI 像一个更先进的软件。九十年代初，围绕强加密协议——当时是封闭的——NSA 与公民自由倡导者之间有过争论。在封闭一侧发生灾难性失败——少数几名工程师设计的系统带着他们无法预测的后果、被轻易攻破——之后，强加密协议走向开放，并催生了整个网络安全领域。世界的默认状态是：开放即安全，这才是我们作为技术延续进入 AI 时代时本该带的默认。模型像软件但被放大：它是黑箱，漏洞与意外后果的长尾更长。Linus 法则——来自 Linux 创始人——是说眼球足够多，所有 bug 都会变浅；我相信眼球足够多时，大多数安全漏洞也会变浅。今天只有闭源实验室里的几百名安全研究员理解这些系统，即便他们竭尽善意，也不可能覆盖长尾。症状就是：一个非常强大的闭源模型去黑了另一家公司，而那家公司唯一的补救方式是用开放模型保护自己——这就是我们所处世界的实证。
- 问
从 Beam 往后，你们如何指导科学与实验工作？科学团队今天的角色是什么？
Sarah Guo 提问01:01:01答Misha Laskin 回答研究方向很大一部分归我的联合创始人 Giannis 管，他负责研究与技术。有很多我们明知有效的东西没赶上时间表——最终模型是在我们七月收到的集群上训练的：几周 pre-training、几周合成数据与 RL，然后发布——所以在'谨慎执行已知'与'更险的下注'之间有真实的取舍。先把已知有效、影响大的事情做完，再逐步扩大风险敞口。更险的下注用小规模 scaling 实验去探——有意思的是，有些东西不到大规模根本不浮现，所以把更多算力押在找下一个东西、还是转向下一个想法，是一门手艺也是一门科学。模型在环对研究员是极大的赋能：过去个人要花很久的事现在很快做完。模型的智能是锯齿状的，你会摸出哪里它能闭环、哪里仍然需要人的创造力——超参搜索和基础设施的琐碎工作很适合闭环。它们是令人兴奋的工具，因为让科学家能施展直觉——像一个飞快、热切、还真的听你说话的同事，前提是这个同事对齐得对。这就是为什么改进速率从手工时代的大约每年 7 倍，变成了它的好几倍——大概四五倍。