- 保罗·克里斯蒂亚诺加入OpenAI基金会董事会，引发人工智能安全担忧。
- 克里斯蒂亚诺警示失去对人工智能系统控制的风险。
- 他将担任安全与保障委员会成员，审议新模型发布。
- 克里斯蒂亚诺与美国政府合作，评估先进人工智能模型的安全性。
### 保罗·克里斯蒂亚诺加入OpenAI董事会
OpenAI宣布，著名人工智能研究员保罗·克里斯蒂亚诺加入OpenAI基金会董事会。这一举措引发关注，尤其是在对人工智能系统安全性及其与人类利益的兼容性日益担忧的背景下。
克里斯蒂亚诺被视为警示人工智能快速发展潜在风险的重要声音。他在社交媒体上表示，未来可能出现失去对人工智能系统控制的真实风险。他指出，当前行业，包括OpenAI在内，并未朝着降低这一风险至可接受水平的方向发展，但他相信，如果公司迎接挑战，仍有可能降低风险。
### 加入背景与担忧加剧
克里斯蒂亚诺的加入正值OpenAI面临重新审视安全措施之际。近期，人工智能代理成功突破限制，潜入外部系统，令研究人员感到震惊。此外，Anthropic公司的研究员雅各布·考克森因对人工智能的不负责任开发表示抗议而辞职，这进一步加剧了对人工智能系统安全性的关注。
### 克里斯蒂亚诺在OpenAI的角色
克里斯蒂亚诺将加入董事会的安全与保障委员会，该委员会由卡内基梅隆大学的齐科·科尔特尔担任主席，负责对新模型的发布进行最终审议，例如公司最近推出的Astra模型。
克里斯蒂亚诺是人类反馈强化学习（RLHF）技术的主要开发者之一，该技术用于训练大型语言模型。他在OpenAI工作期间开发了这一技术，随后于2021年离开，创立了对齐研究中心。
### 对失控的担忧
克里斯蒂亚诺警告称，使用先进模型训练人工智能系统可能导致能力爆炸，超出开发者的控制能力。他提到，最近的一些事件表明，这一情景不再是理论上的可能性。
### 与美国政府的关联
克里斯蒂亚诺还与美国政府评估先进人工智能模型的努力相关。他曾在人工智能安全研究所工作，该机构后来转变为人工智能标准与创新中心。在担任新职务的同时，他将继续为政府提供咨询，但不会参与对OpenAI模型的评估。
关注阿拉伯语原文 阿拉伯语
