Google 如何发明了现代 AI——它还能赢下 AI 时代吗?
Transformer、TPU、DeepMind 都是 Google 的发明,ChatGPT 却由带着想法离开的人造出来。本期讲 Google 如何发明现代 AI、为何眼看着价值流失,以及创始人控制加上模型、芯片、云、应用的全栈位置,能否让它赢回 AI 时代。

导语
Transformer、TPU、DeepMind 都是 Google 的发明,ChatGPT 却由带着想法离开的人造出来。本期讲 Google 如何发明现代 AI、为何眼看着价值流失,以及创始人控制加上模型、芯片、云、应用的全栈位置,能否让它赢回 AI 时代。
Google 如何发明了现代 AI——它还能赢下 AI 时代吗?
两位主持人给出的直接答案:现代 AI 的几乎每一块零件都是 Google 发明的,却在岁月里一点点漏了出去——该发生的收购没发生,该留下的人走了。如今的翻盘之注押在两件事上:全行业独一无二的全栈位置,以及不会被董事会换掉的创始人。本·吉尔伯特(Ben Gilbert)这样总结今天的 Google:如今他们手里的资产组合大概是全世界最好的——Gemini 是一线 AI 模型,模型不托管在别人的公有云上,自家的 Google Cloud 一年进账 500 亿美元。这一集要回答的问题是:这套资产能否兑换回 Google 在搜索时代那种统治力?还是说 AI 的价值天生摊在太多玩家手里,连 Google 也接不住?
从十二小时的翻译到 Google Brain
故事从 1999 年前后 Google 的一间微型厨房开始。有研究员提出:一个能预测句子里下一个词的系统,算不算真的在理解?新来的年轻人诺姆·沙泽尔(Noam Shazeer)当场愣住:"如果真是这样,那就太深刻了。"这个后来创出 Character.AI 的人,把这个问题带向了大语言模型。
第一个证据来自翻译。Google 早期的神经翻译模型慢得吓人,一个句子要跑十二个小时;杰夫·迪恩(Jeff Dean)——Google 并行基础设施背后的那位工程师——把算法改成词句并发处理,平均句子的翻译耗时从 12 小时压到 100 毫秒。Google Translate 就此上线,一个模式也定了下来:神经网络靠给既有业务赚钱,在 Google 内部挣得自己的位置。
学术界的转机由塞巴斯蒂安·特龙(Sebastian Thrun)牵线。他把整个领域最关键的怀疑者请进了公司:杰夫·辛顿(Geoff Hinton)先以顾问身份与 Google 合作几年,后来干脆"技术上成了 Google 的实习生"。这段关系催生了那个时代 Google 的第二个旗舰项目:第二个项目,叫 Google Brain。
猫论文与 AlexNet:AI 开始赚钱的那一年
两位主持人不同意"AI 时代始于 ChatGPT"的说法。AI 时代 2012 年就开始了——一半是猫论文,另一半是黄仁勋(Jensen Huang)口中 AI 的"大爆炸时刻":AlexNet。猫论文是 Brain 的证明:一个巨型无监督网络,没人告诉它什么是猫,它自己学会了认猫——后来成了 YouTube 推荐系统的地基。AlexNet 则赢得更张扬:2012 年 ImageNet 竞赛,错误率一步从上一届最佳的 25% 跳到 15%,这样的一年之内十个百分点,此前从未有过,比第二名相对好 40%。这一刻把英伟达的游戏卡变成了 AI 研究的底座,也在黄仁勋的叙述里,成了所有人十年后才赶上的那个行业的起点。
5.5 亿美元的枢纽:DeepMind 竞购
在猫论文与 ChatGPT 之间,是主持人眼中现代 AI 最承重的一笔交易。2013 年底,马克·扎克伯格(Mark Zuckerberg)出手想买下 DeepMind——一家没有产品、离它许诺的通用智能还很远的伦敦实验室。各种传言版本不一,但按帕米·奥尔森(Parmy Olson)在《Supremacy》里的记载,报价最高到 8 亿美元——一家没有产品、离 AGI 还很远的企业。埃隆·马斯克(Elon Musk)随即想插一手:他立刻打电话给德米斯:"我现在就用特斯拉股票把公司买下来。"但德米斯·哈萨比斯想要的是 Google,而且按两位主持人的说法,这是两厢情愿。尽职调查做完,交易敲定:德米斯与拉里·佩奇(Larry Page)气味相投,5.5 亿美元成交。
真正的重点是那个反事实。如果当年 DeepMind 被别人买走,它不会是后来这个走向,OpenAI 大概率也就不会成立。在这一集的因果链里,Google 买下 DeepMind,才让那些本来会去资助或加入对手实验室的人转而到 Google 内部造实验室——也正因此,那个最终做出 ChatGPT 的实验室只能从零另起炉灶。
伊利亚的警告与保密芯片
把 AlexNet 的路子规模化,意味着按研究实验室从未有过的量级买算力。大卫·罗森塔尔(David Rosenthal)这样讲那笔订单:他们定下计划,向英伟达订购 40,000 块 GPU,总价 1.3 亿美元——价签大到申请一路递到拉里·佩奇案头,财务想砍掉,拉里亲自批了。这笔订单让 Google 撞上了自己的经济模型,而这次相撞逼出了行业史上最重要的两个基础设施决定。
第一个是 TPU。当 Google 新上线的语音识别眼看要把全公司数据中心翻一倍,杰夫·迪恩去找乌尔斯·霍尔兹勒(Urs Hölzle)时留下名言:我们需要另一个 Google。账本也确实不好看,本·吉尔伯特如是说:看起来往后每年都要往英伟达送去几亿、很快是几十亿美元,看不到头。另一个选项是为一件事造一颗定制芯片——张量处理单元——它诞生在威斯康星州麦迪逊的卫星办公室,连公司内部都瞒着。整个项目保密了至少一年,才在 Google I/O 上公布。TPU 还赶上了 AlphaGo 那场比赛:棋局跑在 Google Cloud 里一台装着四块 TPU 的单机上。
同一时期,Google 做出的第二个决定,是把外面的世界放进来。讲到 OpenAI 的创立,主持人现场念了当年的报道:出自凯德·梅茨(Cade Metz)发表在 Wired 上的一篇精彩报道——他后来写了《Genius Makers》。凯德·梅茨 2016 年那篇 Wired 报道把障碍写得明明白白:最有资格解决这些问题的人大多已经身在 Google,晚餐桌上没人有把握能把这些思考者劝去一家新创业公司——哪怕背后站着马斯克和奥尔特曼。
Transformer 与价值流失
先到的是神经翻译:LSTM 把错误率大幅压低——2016 年 Google 把 LSTM 用进 Google Translate,错误率降了 60%——团队把旧系统整个扔掉,彻底换新。2016 年《纽约时报杂志》正好有一篇写这件事的精彩长文。Google 用神经网络整体替换 Translate 代码库的决策,正是《纽约时报杂志》2016 年那篇"伟大的 AI 觉醒"特稿所讲的故事。
然后是那篇论文。对人类价值而言也许是史上最好的决定之一,对 Google 自己的公司利益而言也许是最糟的决定之一:Google 允许这八位研究者以《Attention Is All You Need》为题发表了论文。截至 2025 年,这篇论文被引已超过 173,000 次,是 21 世纪引用量第七高的论文。Google 没有抓紧把它做成产品,作者们也没有留下来等。短短几年内,Transformer 论文的八位作者全部离开 Google,或创业或加入 AI 公司,其中包括 OpenAI。那段历史的口述实录恰恰是主持人做研究的依托:史蒂文·利维(Steven Levy)为 Wired 写了这段历史,团队成员的话散布全篇——"诺姆是个魔法师"之类。Wired 2024 年由史蒂文·利维操刀的口述史,收集了 Transformer 团队对论文诞生过程的亲历回忆,其中包括"诺姆是个魔法师"这句评语。
流失在内部有更锋利的一面:早在 ChatGPT 之前,Google 手里就有一个能用的聊天机器人。2020 年前后,诺姆在公司里造的聊天机器人已经可以说相当接近 ChatGPT——只缺 ChatGPT 后来加上的那些后训练安全层。公司知道这个界面能做到什么,却出于安全与品牌顾虑选择不发——想发的人,出去把它造了出来。
微软加注、ChatGPT 引爆:code red、Bard 与大合并
OpenAI 能熬过创立初期的混乱,靠的是微软接手了它的规模化计划。2018 年太阳谷大会上,山姆·奥尔特曼与萨提亚·纳德拉敲定微软向 OpenAI 投资 10 亿美元,现金与 Azure 云信用额度各占一部分;算力账单越滚越大之后,微软又追投了 20 亿美元。这笔合作把一家账上余钱见底的研究机构,变成了行业里资金最充足的规模化实验。
ChatGPT 的到来悄无声息,按两位主持人梳理的时间线:2022 年 11 月 30 日——感恩节那一周——OpenAI 以研究预览的名义,上线了一个接在新模型 GPT-3.5 上的对话界面,名叫 ChatGPT。不到一周,用户破 100 万;两个月内,注册用户过 1 亿,是史上最快破这一里程碑的产品。Google 内部的反应带上了生存色彩:桑达尔·皮查伊(Sundar Pichai)在公司内部拉响了 code red。按大卫·罗森塔尔的解读,这道指令正是教科书式的在位者应答:这次 code red 是个大时刻——它的含义、桑达尔的原话,就是尽快把真正的原生 AI 产品做出来、发出去;面对颠覆式创新,在位者就该这么办。
手忙脚乱暴露了 Google 让自己的领先锈掉了多少:聊天机器人研究被压了多年——AI Test Kitchen 里的 LaMDA 版本,对话满五轮就强制结束——仓促上阵的 Bard 首秀又砸了。Google 踉跄之际微软步步加码:2023 年 1 月,微软宣布再向 OpenAI 投 100 亿美元,称已持有其营利实体 49% 的股份。Google 的反击从重组开始:桑达尔做的第一个大决定,是把 DeepMind 与 Brain 合为一体;同样大的第二个决定是只造一个模型——对内是全 Google 的模型,对外是所有 AI 产品的模型,它叫 Gemini;不再有不同的模型、不同的团队,一个模型管一切。把诺姆·沙泽尔请回家也是应手之一:ChatGPT 上线后的 2024 年,Google 花了约 27 亿美元与 Character.AI 做授权交易,诺姆就此回到 Google。对这次重组的效果,主持人带着成色保留了判断——一切仍在实时上演,但 Google 内部许多人强调:Gemini 的局面与当年的 Google+ 完全不同。公司对外的姿态则是刻意的一体两面:一场非常微妙的舞蹈——既要护住既有的生意,又要尽量不相互蚕食地长出新的那一门。
并行的十年豪赌:从"拉里的司机"到 Waymo 五城
语言模型的戏码上演的同时,Google 还在下另一盘十年的大棋:自动驾驶。起点是 DARPA 大挑战赛,首届就足够难堪:2004 年第一年,报名的 100 支车队最终无一跑完全程。回到 Google,后来成为 Waymo 的 Project Chauffeur,是 Google X 的第一个项目。塞巴斯蒂安·特龙的团队把验收标准定成了一段以押注他们的创始人命名的挑战:加州十段最难开的路,约一千英里,团队管它叫"拉里 1000"。兑现一直等到 2020 年秋:2020 年 10 月,他们在凤凰城发出了全球第一个驾驶座无人的公开商业服务——那是跑通"拉里 1000"的十一年之后。这条弧线就是主持人的证明:Google 能把一个登月项目捂上十几年不放。
今天的数字由公司自己发布,主持人也照实标注:Waymo 上个月发布的自家研究显示,其严重受伤及以上的事故比人类司机平均少 91%——且已对"Waymo 目前只跑城市地面道路"这一事实做了控制。运营规模是实打实的:凤凰城、旧金山、洛杉矶、奥斯汀、亚特兰大五城开跑,每周数十万付费车程。自动驾驶能否长成搜索量级的生意仍是未知数——但这是全集最清楚的案例:Google 悄悄资助了十年的未来,最终由自己发了出来。
3700 亿美元之年:云翻身与 Gemini 的模糊数字
撑起这一切的生意,按主持人的盘点大到惊人:过去 12 个月 Google 收入 3700 亿美元,利润 1400 亿,比任何其他科技公司都能赚。市场已经给出了定价:Google 冲过 2 万亿美元的旧峰值,就在本月刚摸到 3 万亿美元大关——全球第四,排在英伟达、微软和苹果之后。AI 的分发数字真实却刻意含混——主持人抱怨 Google 是他们研究过的公司里最会"藏球"的——能确认的是 Google One 套餐付费订阅超过 1.5 亿,Gemini 月活 4.5 亿,而这里面把所有用 Nano Banana 的人都算了进去。
资产负债表里最大的意外是云业务,两位主持人把它归功于全集最不性感的一个决定:聘用托马斯·库里安(Thomas Kurian)。2020 年 Google Cloud 收入破 130 亿美元,三年内将近三倍;go-to-market 组织招了约一万人——不夸张——而库里安来的时候这个组织只有 150 人。这场企业级重建把 Google Cloud 从 2017 年的约 40 亿美元带到如今年化超 500 亿美元、年增 30%——它对 AI 的意义在于:云正是 Google 把自研芯片交到客户手里的那扇门。
四大支柱、黄仁勋税与创始人控制
这一集的战略内核是大卫·罗森塔尔的四支柱论:想站在 AI 牌桌前排,你需要应用、模型、芯片、云中的一样——而 Google 想四样全占。他们把 AI 的支柱集齐了,而没有任何别的公司占有多于一样。芯片这一根最安静,也可能最耐用。租英伟达 GPU 的所有人都在付一笔有外号的溢价:很多人管它叫黄仁勋税或英伟达税。TPU 计划重定了这笔税的价码:据他了解,博通与 Google 合作 TPU 的毛利约 50%,英伟达则是 80%——供应商拿 50% 还是 80%,对你的加价空间就是 2 倍与 5 倍之别。这正是投资人加文·贝克(Gavin Baker)那套论证的落点,由本转述:Google 稳稳地是 token 的低成本生产者——自有全部基础设施、拿得到低加价硬件——这在当下是巨大差异,很可能意味着为全世界生产 token 的赢家就是它。支撑这个判断的规模还在飞涨:2025 年 4 月到 6 月,Google 每月经服务发出的 token 从不到 500 万亿涨到将近 1000 万亿——技术上说是 980 万亿。
空头的刀口在价值捕获,不在价值创造。按粗略估算,Google 在美国大约从每个用户身上一年赚 400 美元;AI 聊天并不像搜索结果页那样天然适合广告,而大卫预期的市场结构也谈不上赢家通吃:搜索他们占 90%,AI 市场占多少不知道,但绝不是 90%——稳态也许 25%,也许高到 50%。一门核心生意第一次面对真正的替代威胁的公司,必须自己挣来结局——而主持人最后的答案落在治理,不在产品。反垄断案没能拆动任何实质性的东西:美国诉 Google 案,法官先认定 Google 在互联网搜索上是垄断者,然后没有拿出任何实质性救济措施。走完这个故事里每个决定的两位创始人仍在掌舵,他们公开的姿态正是创新者窘境的解药。大卫把整集蒸馏成这样一个判断:拉里和谢尔盖·布林(Sergey Brin)控制着这家公司,他们被反复引用的话是:宁可破产,也不能输掉 AI。这够不够赢下整个时代,是这一集留得恰到好处、不作回答的问题。
访谈精粹
18 组核心对谈- 问
AlexNet 为什么在 2012 年 ImageNet 竞赛上远超所有对手?Hinton 团队到底想明白了什么?
Ben Gilbert 提问49:02答David Rosenthal 回答他们意识到理论八十年代就摆在那里,瓶颈在硬件:深度神经网络需要海量并行,而摩尔定律下的 CPU 只够堆几层。顿悟在于把神经网络重写到另一类天生高度并行的芯片上——消费级游戏显卡。这相当反直觉:前沿学术研究向来跑在超算上,他们却用零售几百美元的游戏卡。Hinton、Krizhevsky 和 Sutskever 走进本地电器店,买回两块英伟达当时的旗舰游戏卡 GTX 580,用英伟达的 CUDA 语言重写算法,就在这两块现成显卡上完成训练,以约 40% 的优势击败 ImageNet 竞赛所有对手。黄仁勋称之为当代 AI 的大爆炸时刻:两块游戏卡都能做到,更多的卡、专用芯片会怎样?英伟达就此从挣扎的 PC 游戏配件商踏上全球市值第一之路;这一战也告诉学界,旧想法配上新硬件就会迎来突破,然后是多年优化。
- 问
在 Hinton 的 DNN Research 竞拍中,DeepMind 为什么在场,而 Facebook 却不在?
Ben Gilbert 提问54:54答David Rosenthal 回答时间点就说明了一切:竞拍与 NIPS 会议(如今的 NeurIPS)同期进行。Geoff Hinton 亲自坐镇太浩湖 Harrah's 赌场的酒店房间主持,Cade Metz 的《The Genius Makers》记下了这段。报价一路走高:微软先退出又杀回来,DeepMind 则如前所说早早退场——创业公司,没钱。最后只剩百度和 Google 真刀真枪地对轰。此时三位研究者面面相觑,决定自己究竟想去哪儿,在 4400 万美元处收手,撂下一句:'Google,这些钱已经绰绰有余,我们跟你走。'原本说好三人均分,但 Krizhevsky 和 Sutskever 找到 Hinton,坚持让他拿 40%,自己各拿 30%——最终就按这个格局落定。
- 问
DeepMind 卖给 Google 的交易是如何促成的?Larry Page 为什么买它?
Ben Gilbert 提问01:19:17答David Rosenthal 回答DeepMind 早期,Elon Musk 与 PayPal 帮成员 Luke Nosek 同乘私人飞机,读到 Demis 的邮件:DeepMind 的 AI 无人示范,自己琢磨出 Atari 游戏 Breakout 的取巧赢法。Larry Page 就在同一架飞机上;一句'这是哪家公司',Google 创始人就此得知 DeepMind。交易靠惺惺相惜:Larry 一直视 Google 为 AI 公司,Demis 觉得 Larry 懂使命;Google 已有 Brain 出产品,可承诺 DeepMind 留在伦敦专心研究智能,和近乎无限的算力。带着'Let's really go big'空白支票,Alan Eustace 于 2013 年 12 月飞赴伦敦——为腰椎不能坐的 Hinton 特意在包机上装了吊具——完成尽调,Google 以 5.5 亿美元买下 DeepMind,设独立监督董事会。若保持独立,今天值五千亿美元。
- 问
Google 收购 DeepMind 之后,产生了哪些连锁反应?
Ben Gilbert 提问01:30:45答David Rosenthal 回答最炸裂的连锁反应在人:Elon Musk 气炸了——算上藏得更深的 Zuckerberg,是两个人。Elon 投资过 DeepMind,本想收进 Tesla 的 AI 团队;眼看 Eustace 满世界搜刮 AI 研究员,他对 Google 早有芥蒂。这股压力催生硅谷最命运攸关的晚餐之一:2015 年夏,Elon 与时任 YC 总裁 Sam Altman 在 Sand Hill Road 的 Rosewood 组局,议题:Google(外加 Facebook)垄断 AI 人才。他们唯一想要而 Google 死活不放的是 Ilya Sutskever:据说 Jeff Dean 的反报价翻倍。尽管如此,仍有七位研究员出走,创立以安全 AGI 造福人类为使命的非营利 OpenAI。Musk、Altman、Hoffman、Livingston、Thiel 承诺出资十亿——后来披露只到位约 1.3 亿,头几年做研究、买算力也够用。
- 问
OpenAI 挖走 Google 的 AI 人才之后,Google 的真实处境如何?2013 年 Krizhevsky 进公司时发生了什么?
Ben Gilbert 提问01:40:22答David Rosenthal 回答2013 年 Krizhevsky 随 Hinton、Ilya 加入 Google,震惊发现所有机器学习都跑在 CPU 上——基础设施抵制 GPU,撂下一句'我们这儿是 CPU 门店'。他按学术做派从电器店抱回 GPU 机器塞进储物柜训练——电费由 Google 买单。第一代系统 DistBelief 需面向 GPU 重构;2014 年春,Jeff Dean 和 John Giannandrea(后来掌管 Google AI 再去 Apple)定下 GPU 进全公司机群的方案:向英伟达采购 4 万块 GPU,1.3 亿美元。方案上呈 Larry Page,他顶着财务反对拍板:Google 的未来就是深度学习。当时的英伟达还是年入 40 亿、市值 100 亿的显卡公司——这几乎是 Google 递给英伟达的天机。这批 GPU 在相册、Gmail 输入建议、AdWords 点击预测上赚回数百倍;也暴露下一个巨大问题:天量矩阵乘法。
- 问
眼看每年几十亿美元流向英伟达,Google 是怎么决定自研 AI 芯片的?
Ben Gilbert 提问01:44:21答David Rosenthal 回答Google 刚在 Nexus 推出语音识别,发现它只跑 Nexus——没有覆盖全 Android 的基础设施。Jeff Dean 算账:十亿台 Android 每天三分钟语音识别需要数据中心翻倍——撂下一句:'我们需要另一个 Google',或者造一种新芯片。点子落到用 20% 时间捣鼓 FPGA 的 Jonathan Ross 手里,捣鼓变正式项目,再变定制 ASIC:TPU。代价:比 GPU 高效得多,却只会一件事——神经网络背后的矩阵乘法。核心洞见是降精度:4586.8272 变 4586.8 再变 4586,量化放软件,单位晶体管算力大增。芯片设计、验证、制造、部署只用 15 个月——FPGA 当过渡机群,硬盘形态插现有机架,麦迪逊制造,I/O 前保密一年多,刚好赶上 AlphaGo:一台机器、四颗 TPU。今天 Google 跑着约二三百万颗 TPU,对比英伟达年出货四百万块 GPU——接近英伟达规模的内部力量。
- 问
Transformer 从何而来?在它之前 Google 的语言模型走到了哪一步?
Ben Gilbert 提问01:52:17答David Rosenthal 回答Franz Och 让 Google Translate 成功后,又经 AlexNet 转向神经语言模型,Jeff Dean 带队空降 Translate 验证概念,把旧代码库推倒重写——《纽约时报》杂志 2016 年著名报道写的正是此事。重写虽先进,但基于 RNN,根本局限是忘性太快。LSTM 用持久记忆部分解决,2016 年上线的 LSTM 版 Translate 错误率降约 60%。但 LSTM 计算密集、无法并行,与硬件走向相反,Brain 遂寻找更好的架构。Jakob Uszkoreit 的洞见是把'注意力'扩展到整个语料库——计算贵,却极可并行。Noam Shazeer 以共同作者加入,来了手'Jeff Dean 式操作'从零重写代码库,transformer 版把 LSTM 版打得落花流水——模型越大效果越好。Steven Levy 为《连线》撰文时,导语是 Noam 的三个词:'It works now.'
- 问
Google 让八位研究者发表《Attention Is All You Need》之后,结果如何?
Ben Gilbert 提问02:02:23答David Rosenthal 回答标题当然是在致敬披头士那首关于爱的经典。截至 2025 年,这篇论文被引超过 17.3 万次,位列二十一世纪最高引论文第七——排在它前面的论文发表时间都长得多。不出几年,八位作者全部离开 Google,创办或加入 AI 创业公司,其中就有 OpenAI。Noam Shazeer 去创办了 Character.AI,后来又通过一桩据报道数十亿美元量级的诡异授权加雇回聘交易回到 Google——代价极其高昂的失误。2017 年,就此拉开 Google 五年未能充分收获 transformer 红利的序幕:对人类而言这或许是最伟大的决定之一,对 Google 则可能是最昂贵的公司决策失误之一。
- 问
Elon 离开之后,OpenAI 的第一个十亿美元从哪来?
Ben Gilbert 提问02:08:48答David Rosenthal 回答Sam Altman 转向 OpenAI 董事会的另一位成员:Reid Hoffman——约一年前把 LinkedIn 卖给微软、现坐微软董事会的人。Reid 牵线:来跟 Satya 谈谈。你知道 Sam 和 Satya 在哪谈成的吗?2018 年 7 月,爱达荷州 Allen & Company 太阳谷大会。交易:10 亿美元现金外加 Azure 抵扣券;交换,微软获得 OpenAI 技术在微软产品中的独家授权。结构上,非营利 OpenAI Inc. 设受控营利实体 OpenAI LP,微软投资注入 LP;董事会包括 Hoffman、Altman、Sutskever、Greg Brockman、Adam D'Angelo 和 Tasha McCauley。今天熟悉的 OpenAI'营利-非营利-问号'结构就此诞生——到 2025 年人们仍在琢磨。一桩交易装下整部 AI 当代史。微软十亿美元入局,重新成为 Google 死敌。
- 问
Google 在 ChatGPT 之前就有一个类 ChatGPT 聊天机器人——为什么始终发不出来?
Ben Gilbert 提问02:20:26答David Rosenthal 回答Noam Shazeer——transformer 重构者、论文作者之一——看着成果说:它能做的远不止 Translate。论文末段几乎原话:方法可扩展到图像、音频、视频。而 Google 很久什么都没做。Noam 的主张更进一步:扔掉索引和十条蓝链,把整个 Google 变成一个巨大 transformer 模型。他做了聊天界面——比 LaMDA 还早、叫 Meena——能力已接近 ChatGPT。缺安全后训练——'谁该去死'式回答没法上线——也没有 RLHF,而 ChatGPT 3.5 有。即便达标也发不出来,卡在两个商业模式问题:其一,直接给答案掉收入,比不过十条蓝链——2021 年前 Google 内部不可讨论;其二,夹在出版方与用户间的法律风险——Google 几十年对抗'去中介化'观感,信息卡只放不变现查询。也没有硬理由:没人真的在要——大众不知道这已成可能,OpenAI 也未必清楚。GPT 在那里,只是悄无声息。
- 问
ChatGPT 的发布究竟是怎么发生的?
Ben Gilbert 提问02:25:34答David Rosenthal 回答我知道——笔记就在手边。2022 年底 GPT-3.5 已好用,但怎么做成产品?Sam Altman 说:该做聊天机器人,谁能包个界面?约一周内就有人把 GPT-3.5 的 API 调用包成聊天产品。产品魔法般、完全出乎预料,服务器被打爆;OpenAI 现场跟微软谈算力、Azure 额度、预支现金。本以为是 API 和 To B 的生意,周末披上 Stripe 付费墙抑制昂贵用量——消费端收入照样起飞。说 OpenAI 预料到后来的一切是假话;Ben Thompson 评语:ChatGPT 让他们成了'意外的消费科技公司'。另一说:传闻 Dario 与 Anthropic 在做 Claude 界面,要赶在前头。产品 2022 年 11 月 30 日以研究预览上线;Sam 发推:'今天我们发布了 ChatGPT,来跟它聊聊。'一周内 100 万用户;12 月 31 日 3000 万;2023 年 1 月底注册用户破亿,史上最快。
- 问
2022 年 12 月 Sundar Pichai 在 Google 内部拉响的'code red'究竟意味着什么?
Ben Gilbert 提问02:34:06答David Rosenthal 回答在此之前,Google、Sundar、Larry 上上下下都把 AI 当作'延续性创新'——用 Clayton Christensen 的框架说:让好产品更好、巩固在位者、资本投入可预测。ChatGPT 一夜之间改了品类:破坏性创新,存亡威胁;十几年 AI 积累的优势瞬间像负资产,因为 Google 有太多城堡要守——重重过滤和安全护栏挡在它和'比 OpenAI 更 OpenAI'之间。所以 code red 的含义是:尽快做出并发布真正的原生 AI 产品。这是教科书级的在位者应对之法:别把头埋进沙子,做出可比的产品,精确算清哪里蚕食、哪里互补。此后数年是一场芭蕾:一边守住搜索增长,一边做出最好的 AI 体验。AI Overviews 只对部分查询开放,AI Mode 只对部分用户开放,Gemini 有完整 App,但 Google.com 并不重定向。这支微妙的舞蹈:一边守护既有现金牛,一边培育但愿不蚕食自身的新业务。
- 问
2023 年 Google 如何应对?Sundar Pichai 做了哪两个大决定?
Ben Gilbert 提问02:37:27答David Rosenthal 回答Code Red 于 2022 年 12 月发出。1 月 OpenAI 用户破亿、微软追加 100 亿——死对头握着首个存亡威胁。2 月 Bing 带 GPT 上场,Google 仓促应战:LaMDA 套界面更名 Bard,发布即翻车——视频出事实错误,股价当天跌 8%。5 月 LaMDA 让位 PaLM,仍落后 GPT-3.5 和 GPT-4。Sundar 拍板两件大事。其一:Brain 与 DeepMind 合并为 Google DeepMind,违背当年收购条款;Demis 任 CEO,十年文化一朝改写。其二:一个模型打天下——Gemini 对内服务整个 Google,对外支撑全部产品。逻辑是 scaling laws:养多个模型家族等于重复付天价成本,何况这正是 Google 主场。用模型名命名消费级服务——Bard 改叫 Gemini——是 Gmail 式打法:产品除了技术什么都不是,正是 Google 文化的集结号。
- 问
Waymo 的起源故事是怎样的——从 DARPA Grand Challenge 到 Larry 1000?
Ben Gilbert 提问02:46:57答David Rosenthal 回答2004 年的 DARPA Grand Challenge 是自动驾驶革命人才库:132 英里 Mojave 土路,禁人类干预,奖金 100 万——设奖需国会点头。2004 年一百多支队伍无一完赛;2005 年奖金翻倍,23 支决赛 22 支超前年最好成绩,5 支完赛:两支卡内基梅隆,一支斯坦福,领队 Sebastian Thrun——原装大众车配商品传感器,只在软件上创新,非常'Google 味'。斯坦福的车自主超越卡内基梅隆车队。Larry 招募 Thrun——别找 Benchmark、红杉融资,我们雇你——他联合创办 Google X,首个项目 Chauffeur 即 Waymo。Larry 拍板:自动驾驶,干。Thrun 抵触——多吨重的杀人机器人——被追问有何技术理由说不可能时:没有,只是害怕。Larry 1000——加州十段最难路段——十几人 18 个月完成;真正超乎想象的是第二个 99%:十年才产品化。
- 问
美国诉 Google 搜索垄断案结果如何?法院为什么拒绝实质性补救?
Ben Gilbert 提问03:15:08答David Rosenthal 回答在我们 Alphabet 那期与本集之间,美国政府诉 Google 搜索垄断案落了地。法官裁定 Google 在搜索市场构成垄断——随后却拒绝实质补救:不拆 Chrome,不叫停每年付给苹果的数百亿默认位费。理由:Google 确实是垄断,但动它代价太大、下游连锁太多——法官还点名 AI 竞赛:数百亿美元涌向 OpenAI、Anthropic 和 Perplexity,新战争开打,交给自由市场,别捆住 Google。David 怀疑:这些挑战者没有一个有净利,融资不会永远持续,烧钱飞快——水龙头一关,Google 在搜索和 AI 两个战场都没有能自立的对手。但'轻浮却有道理'的反驳是:Google 虽屡屡慢半拍,躲过微软级别的诉讼纠缠和正式裁决,值回票价。甚至有多米诺理论:Ilya 离开 Google 才有 OpenAI,才有 Google 免于拆分——反垄断的手下留情反倒救了 Google。荒诞得可以。
- 问
Google Cloud 为什么挣扎了十年?Thomas Kurian 又如何扭转局面?
Ben Gilbert 提问03:22:55答David Rosenthal 回答Alphabet 那期刻意没讲云——当时觉得边缘,事后看对 AI 极关键。云始于 2008 年 App Engine:意见极重的 PaaS。AWS 验证 IaaS 才对,微软转向 Azure,Google 2012 年才推 IaaS。短板:没搞定企业界面——自助、广告主养活,不必讨好企业。云是刺刀战:最低价、企业关系、打包方案——你说 solution,我听到毛利。Google 又不愿交镇店之宝:Bigtable、Borg 不给。2018 年末请来甲骨文前总裁 Thomas Kurian,一切改变:云十年到 40 亿,2020 年 130 亿。Google 其实一直是云公司——工程师和基础设施最强——只是商业化太'Google 味'。2022 年 260 亿,2023 年立住且盈利的第三朵云。今天:年化超 500 亿、同比增 30%,增长最快的主流云——别家求英伟达给 GPU 配额,Google Cloud 直接卖 TPU。
- 问
为什么说云是 AI 的分发机制?为什么 Google 是唯一集齐 AI 各支柱的公司?
Ben Gilbert 提问03:28:49答David Rosenthal 回答其一是:云是 AI 的分发机制。要在 AI 牌桌上玩,你至少得占一样——顶级应用、顶级模型、顶级芯片,或者云——而 Google 想把四样全占了。没有别家公司占超过一样:英伟达有芯片,云算沾点边但不算数;Meta 只有应用,而且眼下已退出前沿模型竞赛——招聘潮说不定会改变这一点;亚马逊有云,应用算半个;微软有云,也做些模型;苹果在这里什么都没有;AMD 有芯片;OpenAI 和 Anthropic 有模型——都没有自己规模化的数据中心,芯片上的动作也没成规模。而 Google:数据中心有规模,芯片有规模,模型使用有规模(google.com 的 AI Overviews),应用有规模——AI 的每一根支柱都在。并且,它还是最有钱可输的那一个。
- 问
AI 芯片的单位经济是怎样的?Google 的 TPU 毛利优势为什么如此关键?
Ben Gilbert 提问03:36:45答David Rosenthal 回答所有人都在向英伟达付 75%–80% 毛利,相当于底层硬件加价四到五倍——'黄仁勋税'。定价权与稀缺性:不自制芯片,就得缴巨额溢价。Google 在 TPU 上付 Broadcom 约 50% 毛利——二倍与五倍加价之差,这规模是天量成本差。芯片是 AI 总拥有成本最大头:模型迭代太快,折旧不超过五年;估算认为数据中心成本里芯片及折旧过半,人员研发占四分之一到三分之一,电费仅 2%–6%。黄仁勋发 Blackwell 时都说:你其实不想要 Hopper——上期英伟达节目大家抢破头的 H100。整个经济模型对芯片供应商毛利极其敏感。Atreides 的 Gavin Baker 做了个校验:历史上做低成本供应商并不重要——Google 不靠最便宜赢搜索,Apple 也不靠便宜赢。但这个时代可能不同:AI 公司毛利最好也就 50%;若 Google 凭自有基础设施、低加价硬件成为低成本供应商,谁为世界生产 tokens,可能就此分晓。