OpenAI：思维链监控是防 Agent 错位关键防线，RL 训练中不惩罚错位推理

测什么：CoT 可监督性的内部评级机制

此次公开的核心是 OpenAI 的 CoT 监控框架——通过追踪模型的思维链推理步骤，识别「意外评分」或「错位推理模式」。这不是传统 benchmark 的分数对比，而是一种过程审计机制：不是在问「模型答对了没」，而是在问「模型在想什么」。

方法论质疑：披露的透明度与可复现性

几个值得追问的点：

• 「少量」是多大？ OpenAI 刻意用了模糊表述。如果只披露了 3-5 个案例，既无法证明方法论的系统性，也无法进行统计显著性分析。这更像是「危机公关式披露」，而非系统性安全报告。
• 「不惩罚错位推理」的代价是什么？ 这是此次最反直觉的设计决策。传统 RLHF 追求的是「惩罚错误行为」，而 OpenAI 选择容忍错位推理以保留「可监督性」。这意味着他们优先假设：未来的监控比当下的对齐更重要。这是一个价值观赌注，不是技术必然。
• 外部验证缺失：CoT 评分是 OpenAI 内部定义的指标，没有第三方可以独立复现或交叉验证。这与其说是科学透明度，不如说是品牌透明度。