- 自我发展的机器可能超出人类的理解与控制能力。
- 人工智能独立性增加，需强化审查与监管机制。
- 人类使用人工智能的方式可能带来严重危害。
- 大国间的人工智能竞赛加剧缺乏有效监管的风险。
从自我发展的机器，到生物武器，再到可能在瞬间做出的军事决策，问题不再是：人工智能能做到吗？而是：人类是否仍然是决策者？
本文提供了网络安全和人工智能领域专家的深刻见解，探讨了潜在的最危险场景，以及技术如何从辅助工具转变为难以控制的独立力量。
1) 自我持续改进：自我发展的机器
穆罕默德·穆欣·拉马丹博士指出，最危险的场景是系统能够开发出更先进的自身版本，然后又开发出更先进的版本，这一循环可能超出人类的理解或控制能力。这并不意味着“机器叛乱”如同电影所描绘，而是一个具有明确目标和执行能力的系统，其发展速度超过人类的监控能力。
2) 系统的独立性与独立监管层的必要性
随着人工智能独立性的增加，对审查、审计和停止机制的需求也随之增加。真正的危险在于，当系统能够调整其工作环境时，人类对其决策的理解和预测能力却在下降。
3) 人类以危险方式使用人工智能
威胁并不总在于“机器的意图”，而在于使用它的人。先进模型可能被用于：
- 虚假宣传
- 社会工程
- 网络攻击
- 开发恶意软件
- 甚至生物武器
4) 大国之间的战略竞赛
塔里克·阿提亚少将警告称，人工智能已成为国家在经济、国防和情报方面的力量组成部分。这造成了“竞赛困境”：每个国家都害怕停滞不前，而其他国家却在进步，这促使所有国家加速发展，而缺乏足够的监管。
5) 人工智能进入军事决策领域
最大危险在于，“决策辅助”转变为“决策本身”。在军事环境中，算法在瞬间做出反应，人类的存在可能变得形式化，而系统在一个人理解一个决策之前就已做出数十个决策。
6) 人工智能本身的安全风险
任何连接网络的系统都可能成为攻击目标，这意味着危险不仅存在于人工智能本身，还在于其被黑客攻击、数据被污染和模型被欺骗。机器不需要“邪恶”才能造成灾难；只需快速运作，并在一个容错能力低的环境中运行。
本文强调，人工智能的未来并不是关于谁会消灭人类或仅仅是幻想的争论，而是技术发展能力与人类控制能力之间的竞赛。
该文章最初发表于是否失去控制？人工智能的场景在现实与幻想之间，来源于也门卫视。
关注阿拉伯语原文 阿拉伯语
