一次成功演示通常只证明:在某个账号、某组输入和当时的系统状态下,模型返回了看起来正确的答案。它不能证明权限、数据、工具和失败恢复都安全。 首先,正常问题没有触碰权限边界。系统可能在回答普通内容时表现良好,却允许用户通过特殊输入读取其他客户资料。安全检查必须覆盖不同角色和租户。 其次,回答文本不等于实际动作。一个智能体可能口头说“不会删除文件”,但工具层并没有限制删除权限。真正的保护应在后端授权、参数校验和确认流程中实现。 再次,演示通常忽略失败状态。网络中断、接口超时或重复回调时,系统会不会创建两份订单、发送两次消息或留下半完成数据,需要专门测试。 模型版本和提示词也会变化。今天拒绝的输入,配置更新后可能得到不同结果。因此测试用例、版本和输出要保存,每次变更后重新回归。 最后,安全不仅是阻止恶意用户。误操作、过期数据、权限配置错误和不清楚的界面,同样会造成损失。系统需要让用户看见动作对象、影响范围和撤回方式。 企业评估 AI 系统时,应把“能回答”视为功能起点,再验证身份、权限、数据隔离、工具动作、日志、异常恢复和人工接管。安全不是一次演示中的表现,而是一套持续有效的工程和管理机制。 本文在提纲整理和初稿撰写中使用了AI辅助,发布前已人工复核事实与表达。