AI 研发自动化会形成失控的反馈回路吗?

长文·约 2 分钟读完·5 节

Ryan Greenblatt 的论证是条件式的:当 AI 在足够可验证的研发任务上比肩顶尖研究者,它就能帮助构建更强的后继系统。争议在于这种进步能否迁移到真实研究的承重环节,以及奖励黑客风险需要怎样的治理。

目录 5 节
  1. 前提是一个研究反馈回路
  2. 速度估计是预测,不是结果
  3. 迁移能力仍是关键分歧
  4. 对齐既是技术问题,也是制度问题
  5. 情景不是已经发生的事实

前提是一个研究反馈回路

Ryan Greenblatt 的论证从一个条件性命题开始:若 AI 能在足够可验证的 AI 研发任务上匹配顶尖研究者,它就可能帮助构建更强的后继系统。

速度估计是预测,不是结果

Greenblatt 给出的中位情景是“一年内实现四到五年的 AI 进展”。。Dwarkesh Patel 则不断用数据、实验、基础设施与现实世界反馈来检验这一说法。

迁移能力仍是关键分歧

两人都承认,可验证的子任务可能特别适合训练;但他们对这些任务与更深层的科学或工程判断之间的距离看法不同。Greenblatt 自己的表述也保留了限定:

对齐既是技术问题,也是制度问题

后半段从加速转向治理。。

情景不是已经发生的事实

节目最后呈现了不同程度的担忧。Greenblatt 给出约 35% 至 40% 的概率,认为到 2040 年可能出现可被识别为“接管”的情景;Patel 则表示,他更担心破坏性奖励黑客,但仍不认为接管极有可能。