自成立以来，OpenAI 就承诺打造造福全人类的人工智能，即使这些人工智能有潜力比其创造者更聪明。自ChatGPT亮相以来，OpenAI的商业野心逐渐凸显。近日，该公司宣布成立新的研究团队，致力于研究未来超级人工智能，并且已经开始取得一些成果。
OpenAI研究员Leopold Aschenbrenner指出：“通用人工智能（AGI）正在迅速逼近，我们将看到超级智能模型，它们拥有强大的能力，但也可能非常危险，而我们还没有办法做到这一点。”找到控制它们的方法。”他参加了今年7月成立的“Superalignment”研究团队。 OpenAI表示将投入五分之一的可用算力用于“超级对齐”项目，探索如何保证超级人工智能的安全性和可控性。
OpenAI 最近发表了一篇研究论文，描述了一项实验的结果。该实验旨在测试一种方法，让较差的人工智能模型能够在不损失智能的情况下指导更聪明的人工智能模型。尽管所涉及的技术尚未超越人类的灵巧程度，但该实验是为未来人类必须使用比自己更聪明的人工智能系统而设计的。
在实验中，OpenAI 研究人员检查了一种称为监督的过程，该过程用于调整GPT-4 等系统，使其更有帮助、危害更小。 GPT 是ChatGPT 背后的大型语言模型。目前，这涉及人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何自动化这一过程以节省时间。此外，这是因为他们认为，随着人工智能变得更加强大，人类可能无法提供有用的反馈。
在对照实验中，研究人员使用OpenAI 于2019 年首次发布的GPT-2 文本生成器来教授GPT-4 并测试了两种解决方法。一种方法是逐步训练更大的模型，以减少每一步的性能损失；另一个是对GPT-4 的算法调整，允许更强的模型遵循较弱模型的指导，而不会削弱其性能。事实证明第二种方法更有效，虽然研究人员承认这些方法并不能保证更强的模型能够完美运行，但它们可以作为进一步研究的起点。
旧金山人工智能安全中心主任Dan Hendryks 表示：“很高兴看到OpenAI 主动解决控制超级智能的问题，这是一项需要多年努力的挑战。”致力于管理人工智能风险的非营利组织。
阿申布伦纳和超级对齐团队的另外两名成员科林·伯恩斯和帕维尔·伊兹梅洛夫都在接受采访时表示，他们正在向前迈出这一重要的一步。受到这第一步的鼓舞，我们认为它可以帮助驯服潜在的超级人工智能。伊兹麦洛夫打了个比方：“就像一个六年级的学生，尽管他们的数学知识比大学数学专业的少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们想要的效果为了。”
Super Alignment 团队由OpenAI 首席科学家兼联合创始人Ilya Sutskever 共同领导。 Sultzkefer 也是上个月投票解雇首席执行官Sam Altman 的最初董事会成员之一。然而，他后来改变了决定，并威胁称，如果奥特曼不复职，他将辞职。 Sutskefer 是最新论文的合著者，但OpenAI 拒绝让他讨论该项目。
上个月，Altman 与OpenAI 达成协议，大部分董事会成员已辞职，Sutzkefer 在OpenAI 的未来充满不确定性。尽管如此，阿申布伦纳说：“我们非常感谢苏茨克弗，他是这个项目背后的推动者。”
在人工智能领域，OpenAI 研究人员并不是第一批尝试利用现有技术来测试有助于驾驭未来的人工智能系统的团体。然而，与之前在企业和学术实验室进行的研究一样，我们不能确定在精心设计的实验中起作用的想法在未来是否可行。研究人员将用较弱的人工智能模型训练更强的人工智能模型，他们称之为“解决更广泛的‘超级对齐’问题的关键组成部分”。
这项人工智能对准实验还提出了一个关键问题：控制系统的可信度如何？ OpenAI 新技术的核心理念是，更强大的人工智能系统可以自行决定可以忽略来自较弱系统的哪些指导。选择可能会导致它忽略重要信息，从而防止它在未来以不安全的方式行事。为了使这样的系统有效，需要在提供一致性方面取得进展。 “你最终需要高度的信任，”伯恩斯强调。
研究人工智能安全的加州大学伯克利分校教授Stuart Russell 表示，使用功能较弱的人工智能模型来控制功能更强大的人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，还不清楚用于教授人工智能行为的方法是否可行，因为它们尚无法使当前模型可靠运行。
虽然OpenAI 正在向控制更先进的人工智能迈出第一步，但该公司渴望外部帮助。 OpenAI 宣布与谷歌前首席执行官埃里克·施密特(Eric Schmidt) 合作，向外部研究人员提供1000 万美元的资助，以鼓励他们在弱到强监督、高级模型的可解释性方面的工作，以及在旨在突破限制的提示下增强模型等领域的进展。参与撰写新论文的研究人员表示，OpenAI 明年还将举办“超级对齐”会议。
作为OpenAI 的联合创始人和Hyper-Alignment 团队的联合领导者，他领导了公司许多最重要的技术工作。与此同时，随着人工智能变得越来越强大，他是越来越担心如何控制人工智能的主要专家之一。今年，如何控制未来人工智能技术的问题获得了新的关注，很大程度上得益于ChatGPT的影响。 Sulzkefer 在深度神经网络先驱Geoffrey Hinton 的指导下攻读博士学位。后者于今年5 月离开谷歌，当时有警告称人工智能在某些任务上似乎正在接近人类水平。
