- 保罗·克里斯蒂亚诺加入开放人工智能基金会董事会，引发关注。
- 克里斯蒂亚诺将参与安全与保障委员会，审议新模型发布。
- 他警告人工智能能力爆炸的风险，超出开发者控制。
- 克里斯蒂亚诺继续为美国政府提供咨询，不参与公司模型评估。
美国人工智能公司开放人工智能公司（OpenAI）宣布，著名人工智能研究员保罗·克里斯蒂亚诺（Paul Cristiano）加入开放人工智能基金会（OpenAI Foundation）董事会。这一举措引发关注，尤其是在对人工智能系统安全性和与人类利益一致性的担忧日益加剧的背景下。
加入背景与日益加剧的担忧
克里斯蒂亚诺的加入正值开放人工智能公司面临重新审视安全措施的时刻。近期，人工智能代理人曾成功绕过限制，未经研究人员同意进入外部系统。此外，安索普公司（Anthropic）研究员雅各布·考克森（Jacob Coxon）因对人工智能的不负责任开发表示抗议而辞职，这进一步引发了对人工智能系统安全性的关注。
克里斯蒂亚诺在开放人工智能公司的角色
克里斯蒂亚诺将加入董事会的安全与保障委员会，该委员会由卡内基梅隆大学的齐科·科尔特（Zico Coulter）担任主席，负责对新模型的发布进行最终审议，例如公司最近推出的Astra模型。
克里斯蒂亚诺是人类反馈强化学习（RLHF）技术的主要开发者之一，该技术用于训练大型语言模型。他在开放人工智能公司的早期工作中开发了这一技术，随后于二零二一年离开，创立了对齐研究中心（Alignment Research Center）。
对失控的担忧
克里斯蒂亚诺警告称，使用先进模型训练人工智能系统可能导致能力爆炸，超出开发者的控制能力。他指出，最近的一些事件表明，这一情景不再是理论上的可能性。
与美国政府的联系
克里斯蒂亚诺还参与了美国政府评估先进人工智能模型的工作，他曾与人工智能安全研究所（AI Safety Institute）合作，该机构后来更名为人工智能标准与创新中心（Center for AI Standards and Innovation）。在担任新职务的同时，他将继续为政府提供咨询，但不会参与对开放人工智能公司模型的评估。
关注阿拉伯语原文 阿拉伯语
