大厂都在造同款芯片，独立芯片公司凭什么成立
如今每个云巨头都在发布自家加速芯片，而且大多经由同一批 ASIC 伙伴流片。Walter Goodwin 画出这张版图，并解释 Fractile 的全栈赌注——把推理速度置于一切之上——以及同质化硅片时代，独立芯片公司凭什么成立。
导语
在 No Priors 这一期里，Sarah Guo 对话 Fractile 创始人兼 CEO Walter Goodwin。这家 2022 年夏天成立的全栈 AI 芯片公司，做的是为世界上最大的模型造极快的推理芯片。整场对话既是芯片行业的一次导览，也是一个论点：在今天看似"选择的奢侈"的加速器市场，几乎所有人都在通过同一批伙伴交付相似的芯片——而稀缺的、值得下注的动作，是横跨全栈、瞄准行业长期搁置的那项特性：内存带宽。
选择的奢侈，相似的芯片
被问到公司成立四年后自己处在加速器格局的什么位置，Goodwin 给出的是一张地图。超大规模厂商的自研硅时代有一个起点——谷歌十多年前用 TPU 开了这个头——也有一个藏起来的共同结构：谷歌的 TPU、Meta 的 MTIA、微软的 Maia、OpenAI 正在推进的自研项目，最终都由相对少数的所谓 ASIC 公司协助开发和出货，比如博通——这类开发兼供应公司里最大的一家。撕掉品牌标签，这些平台承重的部件高度一致：这些芯片都有 HBM——Nvidia GPU、AMD GPU 和其他所有 ASIC 共用的那类 DRAM——同样在张量核心上押注矩阵乘法，同样用台积电的先进封装。行业至今缺少的，他说，是横跨整个硅技术栈、追求根本性新能力的努力：没有多少团队下过决心，从架构层和前端设计层——那大部分像写代码——一路做到物理设计、工艺工程，以及那些让你每周飞台湾或韩国的代工厂关系。
一颗芯片是怎么造出来的
全集最耐用的讲解是交接过程。假设你是谷歌在造 TPU，架构师的本分属于既懂芯片行为、又懂工作负载的人——十年前，这份工作产出的就是张量核心这类电路：把一件事做到极致，因为矩阵乘法占这些模型浮点运算的绝大多数。在同样的组织里，另一群聪明人把架构想法变成芯片在电路层面应当如何工作的描述——前端设计，机械上仍然像在写代码。这份代码交到博通这样的玩家手里，而设计最终变成送去台积电的东西：GDSII 文件，字面上就是每个金属层、每个晶体管放在哪里的位图。博通持有的复杂度，是芯片间互联的模拟 IP，以及绑定台积电特定工艺节点（3 纳米、5 纳米）的物理布放。时至今日，这部分仍然是一种外包活动——对所有这些项目都是。
一百五十人，一个闭环
Fractile 的反制是把整个闭环留在自己手里：前端设计师、物理设计团队、后端实现，连先进封装也自己做——今天约 150 人，每个环节资源都有限，却换来灵活得多的闭环。团队抢在曲线前面工作——模型架构可以在哪里改动以贴合芯片、怎么判断 scaling law 的方向——再把这些判断讲给客户和伙伴听，为一块还要一两年才量产的芯片攒出一组下注。行业的节奏让这个结构变得关键：AI 芯片领域前所未有地要求你押对注——大量功力加一点运气——并且跑得非常快。
推理先行，在推理还需要解释的年代
第一个决定性的下注是题目本身。四年半前 Fractile 站在推理的正中央，此后两年还在向世界解释什么是推理——今天市面上的某些推理芯片，十八个月前还是训练芯片。第二个下注是大部署时代会来；第三个是速度，它决定了之后一切架构上的回应。架构上，头两年做的是类似 Groq 或 Cerebras 的 SRAM 芯片：SRAM 与逻辑在同一片硅上，部署时计算单元与模型权重或 KV 缓存之间的带宽极高——正是每秒数千 token 的来源。而 2023 年底、尤其是 2024 年让人担心的，是可扩展性：参数在涨，上下文长度也在涨，而后者在模型部署里越来越重要。
有 SRAM 速度的 DRAM
转向——与内存厂商和逻辑代工伙伴更紧密地合作，拿容量更高、带宽仍然极高的内存——是公司现在围绕其构建的下注：一个明年下半年完全可用的平台，把 GPU、TPU 里那种高容量、低成本的 DRAM 的可扩展性，与 Groq、Cerebras 芯片的全部速度优势合到一起。亨利·福特那匹"更快的马"的典故在这里干着框架的活：更快的聊天机器人就是更快的马；让万亿参数模型舒服地跑到每秒数千 token，才是长寿命 agent 真正需要的。底下的经济学不留情面——为数千用户跑数据中心规模的推理，成本归结为你所用的每一 GB 内存的价钱——所以才要去找世界上最便宜的内存、也就是 DRAM 那里的高带宽。
两周对三到五个月
论证的中段是一场碰撞。一边，工作负载以软件速度移动：大约每两周就出一个新模型，先进的中国开源模型里注意力机制几周一变，MoE 稀疏度也在变。安全的公约数——新的大语言模型都极度需要更多内存带宽，而生成期间仍是自回归的小批次——是芯片可以押的东西。另一边是物理与金融的世界：代工厂从收到设计到交回芯片，加急也要三到五个月；一颗芯片要有三到五年的摊销窗口，财务上才成立；旗舰平台还有十二到十八个月的量产爬坡。Goodwin 同时握着两个信念：把开发周期压到极致，同时继续做深思熟虑的架构下注，因为造出来的芯片必须有用三年以上。在他的框架里，压缩意味着朝目标做更多次尝试——而回报是真的：Nvidia 系统里已经捆着六到九颗合力造出的定制芯片，而一个从结构上锁定的三到六个月领先，用他的话说，就是芯片行业里的领先模型。他的告诫同样干脆：没有人会每隔几周发布一颗根本性的新芯片——数据中心功率有上限、安装需要时间、基础硅技术需要融资。
设计闭环里的 AI
Goodwin 预期 AI 首先咬住的是设计闭环本身。一家半导体前三公司的 CEO 私下告诉他，从首席架构师的想法到一份完整的 GDSII 文件要十年；而他对这类估算的启发式是：先质疑你的逻辑假设，再把时间限制除以四。今天真正慢的是 NP 难的中间环节——以传统算法做布放与布线，一跑就是好几天——而局面和 AI 实验室里的 RSI 如出一辙：非同寻常的智能已经在指导实验，可实验本身和算力时间成了瓶颈，所以把测试加速，与加速思考同等重要。并非一切都会变：最终签核——Cadence 和 Synopsys 与台积电几十年间形成的那道确认产品符合代工厂规则的印记——相当长时间内不会变。值得投入的解锁点，他说，是一个能逼近最终设计的粗略布放算法，让你迭代更快。
带宽之墙
工作负载的下注，一句话说，就是把内存带宽最大化。芯片仍要在硬件彩票的整个谱系上表现良好——各实验室在带 HBM 的 GPU 和 XPU 上训练——但凭每颗芯片相对 HBM 芯片 25 倍的带宽，Fractile 还能对模型格局本身施加引力。最清楚的例子是稀疏化：同样的智能水平下，把 MoE 稀疏度从 1 比 16 提到 1 比 128 或 1 比 256 能省下一大批运算，可在带 HBM 的现代芯片上，这类模型撞上带宽瓶颈、算力利用率极低。而这一切背后是二十年的不对称：算力涨了一百万倍，内存带宽只涨了约四十倍。把落后的这项特性做上去，Goodwin 认为，会乘到其他一切上——同样的智能，更少的运算。
五年后谁买什么
Guo 收尾的问题——五年后主要的 AI 玩家和超大规模厂商到底会买什么——得到的是一个结构性回答。任何做规模化部署的人，都在尽量利用尽可能多的独立平台，而各家自研在架构上相当相似；业内那句他半认可的玩笑是：自研的主要目标，就是压低大家付给 Nvidia 的价格。有意思的是高端那一段：领先实验室需要把模型启动速度快几个数量级的方案，因为高端智能是它们存在的理由——否则我们早就都在用 Kimi 模型了。最好的模型权重，加上最快的部署：这个速度高于一切的高端细分，他说，正在成为这个世界极其重要的一部分。
非对称博弈
为什么实验室不把一切都自己做？因为它们在玩一场非对称博弈。如果第一家实验室把宝全押在自己的硅上，而第二家实验室做出了只在后者芯片上运行的五倍效率突破，第一家可能就此消失九个月去追赶。所以实验室留在共享平台上，在模型层面竞争——而对把能力推到极限的人，在硬件层面做激进的下注，用 Goodwin 的话说，是非理性且非常危险的一步。这个不对称，就是他对"未来几十年仍有独立芯片公司站在前沿"的论证——也是 Fractile 要占的那个位置。
访谈精粹
5 组核心对谈- 问
对不在芯片行业的人来说，架构方与博通这类公司之间的抽象与交接过程是怎么运作的？
Sarah Guo 提问04:56答Walter Goodwin 回答假设你是谷歌在研发 TPU，团队里有人对要加速的工作负载理解极深。回头看十年，那是一个你会造张量核心这类东西的世界——架构师想出的专用电路，把矩阵乘法做得极好，因为矩阵乘法占你运行的模型里浮点运算的绝大多数；那是架构师的本分：懂芯片的行为，最好还深懂目标负载。在同样的组织里，会有一群聪明人把它变成芯片在电路层面应当如何工作的描述——前端设计，机械上仍然像写代码。这份代码交给博通这样的玩家，而设计最终变成送去台积电的东西：GDSII 文件，字面上是某种位图——金属层放哪里、每一个晶体管放哪里，完整的布局。其中很大一部分复杂度，是芯片间互联所用模拟 IP 的所有权，以及绑定特定台积电工艺节点（3 纳米、5 纳米等）的物理布局。这部分至今对所有这些项目而言，一般仍是外包活动。
- 问
公司做过的最重要的技术下注是什么？
Sarah Guo 提问09:49答Walter Goodwin 回答两个下注最关键。一是选定的方向本身：四年半前 Fractile 就站在推理这个题目的正中央，可此后两年还在向世界解释什么是推理——今天市面上的某些推理芯片，十八个月前还是训练芯片。“我们将进入大规模部署时代”这个下注至关重要，对速度的下注同样如此，它在很大程度上决定了后来的架构回应。架构上，头两年做的是类似 Groq 或 Cerebras 的 SRAM 芯片：SRAM 与逻辑在同一片硅上，部署时计算单元与模型权重或 KV 缓存之间的带宽极高——正是这一点支撑起这些语言模型每秒数千 token 的速度。到 2023 年底、尤其是 2024 年，我们开始担心这条路的可扩展性：模型参数在涨，上下文长度也在涨，而后者正成为模型部署中越来越重要的一环。于是有了更让人兴奋的下注——与内存厂商及逻辑代工伙伴更紧密地合作，拿到容量更高、带宽仍然极高的内存，把 GPU、TPU 里那种高容量、低成本的 DRAM 的可扩展性，与 Groq、Cerebras 芯片的全部速度优势合到一起；这个平台将在明年下半年完全可用。更快的聊天机器人是“更快的马”；把万亿参数模型舒服地跑到每秒数千 token，在他看来才是 AI 造出长寿命 agent 的根本性进展。
- 问
在赶在工作负载变化之前规划芯片架构时，你看到了什么？
Sarah Guo 提问28:18答Walter Goodwin 回答最重要的不变项是对速度的追求：把内存带宽做到最大，让这些模型跑得更快。芯片公司必须拥抱一个二元性：既要在一整谱系的工作负载上都有好的表现——在“硬件彩票”之下，各实验室在带 HBM 的 GPU 或 XPU 上训练——也要探索能否凭芯片自身的特性，对新的模型格局施加引力。这颗芯片把今天超激进的 MoE transformer 跑得又快又高效；而每颗芯片相对 HBM 芯片 25 倍的带宽，让我们得以在内部探索“带宽的 scaling law”这类想法。有些在已知图景里已经可见：混合专家模型理应做得越来越稀疏——同样的智能水平下，稀疏度从 1 比 16 提到 1 比 128 或 1 比 256，能省下一大批运算——可在带 HBM 内存的现代 GPU 和 XPU 上，这类模型极难被高效服务，动辄撞上带宽瓶颈、算力利用率极低。有些注意力形式对带宽要求更低，同样的智能水平下对算力要求更高。过去二十年，算力涨了一百万倍，内存带宽只涨了约四十倍——把这个特性做上去，是这类模型整体性能的真正乘数。
- 问
最后一个问题关于市场结构：五年后，主要的 AI 玩家或超大规模厂商到底会买什么芯片——Nvidia、AMD，还是新一类加速器？你怎么理解？
Sarah Guo 提问31:22答Walter Goodwin 回答今天看到的行为是：任何在做规模化部署的人，都在尽量利用尽可能多的独立平台；随着算力对这些玩家变得生死攸关，供应多样性的真实需求会一直存在。业内玩笑说，这类自研芯片的主要目标就是压低大家付给 Nvidia 的价格——这话有一定道理，因为这些项目在架构上相当相似：不是对“别家芯片没有的根本能力”的下注，而是一场博弈——自建一点，或者从 AMD 买一点，好从 Nvidia 拿到更好的价格——再加上集体议价力与某种掌控感。而当市场转向真正带来新能力的芯片时，那才是我们看到自己所做之事的真实需求所在，对象是任何想把 AI 推到最前线的人：一个把模型启动速度快几个数量级的方案。对领先实验室，那是高端智能的窗口期——它们存在的核心理由；否则我们早就都在用 Kimi 模型了。而随着开源的压力被感受到，对在最前线工作的人来说，拥抱这套概念的所有方面就更加重要。
- 问
为什么这个世界会长期容纳独立的芯片公司，而不是全部收进实验室内部？
Walter Goodwin 提问34:08答Walter Goodwin 回答这归结为所有实验室和开发者都在玩的非对称博弈：把宝全押在一张硬件牌上，风险是巨大的。假设我是第一家实验室，完全专注在自己的专有硅上；这时第二家实验室做出了一个计算层面的突破——同样的智能水平下，效率显著更高——却只能在他们的芯片上运行。我可能就此消失九个月，一边追赶着自己造出足够多的这类芯片、去拿到那五倍的算力效率提升。因此，对这些公司来说，使用相同的平台是紧迫需求。它们如今玩的是不同的游戏——在模型层面竞争——而对把能力推到极限的人来说，在硬件层面做激进不同的下注，是非理性且非常危险的一步。