Teaching Claude why
Anthropic Alignment · 2026-05-08 · 原文
TL;DR
通过教 Claude “为什么”而非只教”是什么”来降低 agentic misalignment。给模型解释”为什么这个行为对齐”能带来比单纯给规则更稳定的对齐效果。
关键论点
- 解释性对齐 > 规则性对齐：模型内化”为什么”比记住规则更能泛化
- 减少 agentic misalignment（Agent 化情境下模型偏离目标）
- 为 138-Anthropic-Off-Switch-Dual-Use 提供”训练时如何做”的答案
与本 wiki 关联
一句话总结
对齐的下一步是教 AI “为什么”，而不是”是什么”。