AGI 的长远影响：风险与希望

我们认为，人类的未来应该由人类决定，并且与公众分享进展信息非常重要。所有试图构建AGI的努力都应受到严格审查，并进行重大决策的公众咨询。

第一台AGI只是智能连续体上的一个点。我们认为，进展可能会从那里继续，可能会在很长一段时间内维持过去十年所见的进展速度。如果这是真的，世界可能会变得非常不同于今天，风险可能非常大。一个不正确的超级智能AGI可能会给世界带来极大的伤害；一个拥有决定性超级智能领先优势的专制政权也可能会这样做。

能够加速科学的人工智能是一个值得思考的特殊案例，也许比其他一切都更具影响力。有可能，足够能够加速自身进展的AGI可能会导致重大的变化发生得惊人地快（即使转型开始缓慢，我们也预计在最后阶段它会发生得相当快）。我们认为，较慢的起飞更容易保证安全，在关键时刻协调AGI努力以减缓速度可能很重要（即使在我们不需要这样做来解决技术对齐问题的世界中，减缓速度可能也很重要，以给社会足够的时间来适应）。

成功地过渡到具有超级智能的世界可能是人类历史上最重要、最有希望和最可怕的项目。成功远非保证，而利益（无限的下行和上行）将希望团结我们所有人。

我们可以想象一个人类繁荣的世界，这可能对我们中的任何一个人来说都是不可能完全可视化的。我们希望为世界做出贡献，创造一个与繁荣相一致的AGI。