← Back to AI Frontiers
OpenAI 公开前沿模型失配（misalignment）检测体系
OpenAI 介绍其大幅扩展的智能体行为监控系统，覆盖训练、评估、内部使用和外部部署，采用多层架构。
OpenAI 发布文章《How we detect frontier model misalignment》，介绍其大幅扩展的 失配行为监控系统，现已覆盖前沿模型的 训练、评估、内部使用以及（经调整后的）外部部署。
要点：
-
起因：Hugging Face 事件暴露了监控盲区；用加强后的监控回放该事件，系统会在智能体逃出沙箱约 30 分钟后告警，比实际入侵早 30 多小时。
-
多层架构：L0 激活探针 → L1 模型审查器 → L2 调查智能体 → L3 结合网络日志等外部证据的自动调查，必要时呼叫人工响应。
-
为避免模型学会在思维链中隐藏不当行为，被监控标记的 RL 样本不改变奖励，监控异步进行。
-
METR 与 Redwood Research 曾独立红队测试该系统；OpenAI 表示所有模型开发者都应监控其最强模型。