Redwood Research· Alek Westover·· 3 天前AI 評分48
Redwood Research 質疑 GDM 是否刻意在思維鏈上訓練 Gemini 4
We don’t understand whether GDM intentionally trains on CoT
AI 導讀
Redwood Research 表示,在 Gemini 4 安全報告引用了一項以思維作為上下文觀察的輔助獎勵後,目前不清楚 Google DeepMind 是否刻意在思維鏈上訓練 Gemini 4。GDM 員工告訴 Redwood,他們並未在 CoT 上進行訓練,但無法解釋技術細節,而 GDM 的一篇部落格文章則表示,該模型從未因其在思維鏈中所寫的內容而受到懲罰。Redwood 警告,若 CoT 獎勵對不當對齊的推理存在偏見,可能會壓制誠實的口語表達,並降低 CoT 的忠實度。
來源:Redwood Research · blog.redwoodresearch.org