← Back to AI Frontiers

Anthropic 训练 Claude 自我评估以标记潜在滥用，并上线 Safeguards 博客

Claude 在每次回复后给出初步安全评估（self-assessment），自 6 月使用以来发现了其他防护未能捕捉的滥用。

AnthropicProduct Updates
Official Source(opens in a new tab)· AI assisted

Anthropic 宣布已训练 Claude 标记对话中的潜在滥用，称为 自我评估（self-assessment）：Claude 在回复后立即对对话给出初步安全评估。

  • 自 6 月 启用以来，它发现了其他防护机制未设计捕捉的滥用。
  • 由于 Claude 已读过对话，自我评估非常高效；与针对固定危害集合的分类器不同，它依赖 Claude 自身判断，会随模型进步而更准确。
  • 官方博客数据：在 Claude Fable 5 上，于 1% 误报率下可标记 78% 的潜在有害对话、94% 的高优先级对话；估计增加的推理算力不到 2%。

Anthropic 同时推出新的 Safeguards 博客。