微软公司近日警告企业和机构，切勿过度依赖先进的人工智能模型进行自我监控。公司强调，赋予智能代理广泛权限以访问数据库和内部系统可能带来重大安全风险，即使在没有恶意意图的情况下。
微软指出，某些人工智能系统的不可预测性可能导致严重错误，尤其是在允许其独立执行任务和访问敏感数据时。因此，必须建立独立的监管和安全系统来监督其行为。
微软副总裁纳迪姆·阿卜杜（Nadim Abdo）强调，企业应将人工智能的能力与负责控制其行为的安全系统分开。他指出，企业不应仅依赖模型开发者来监控其遵守安全规则的情况。
为此，微软正在开发新的监管工具，属于“感知项目”（Project Perception），其中包括被称为“守护代理”（Guardian Agents）的系统。这些系统旨在监控人工智能代理的表现，发现任何异常行为，并在潜在损害发生之前进行干预。
新的安全系统允许实施动态访问权限，确保智能代理仅获得完成任务所需的最低权限，并在任务完成后立即缩减或撤回这些权限。
提议的措施包括隔离智能代理或限制其访问数据和系统的权限，或要求人工干预才能继续某些任务，必要时甚至完全停止其操作。
微软表示，这些努力与其他技术公司合作进行，包括英伟达（NVIDIA），旨在增强人工智能代理的安全性，确保在其在管理敏感任务和系统时保持可控。
微软强调，单靠人工智能模型的效率已不再足够，未来阶段需要独立监管、有限权限和有效干预机制，以确保安全使用这些先进技术。
关注阿拉伯语原文 阿拉伯语