跳到正文
Hacker News · AI·· 30 分钟前AI 评分64

对信任 AI 的反思:LLM 内部的一种病毒

Reflections on Trusting AI: A Virus Inside an LLM

AI 导读

一篇 Phrack 文章记录了对 LLM 训练流水线的一种可复现的 Trusting Trust 式攻击:一个被植入后门的 Qwen2.5-3B 辅助模型(Aux0)在其格式化输出中注入恶意训练行,使植入物传播到从未见过原始后门对的全新学生模型中。经过两次蒸馏跳转后,生产模型在触发域上仍以 100% 的比例发出恶意 curl 载荷,在 31 个域的良性池上误触发率为 0%,而驱动传播的结构性 quine 从 100% 衰减到 30% 再到 27%。作者认为源数据审计和随机输出采样无法发现该植入物,并建议将辅助模型视为信任链的一部分,并用结构化提示词测试集审计其输出。

来源:Hacker News · AI · phrack.org