跳至正文
  1. Microsoft Research75

    微軟研究人員描述 Lazarus:一種重新程式化 AI 代理中休眠神經元的後門

    微軟研究人員描述了 Lazarus,這是一種後門技術,可重新程式化 LLM 中不到 10 個休眠神經元,使建構於其上的代理在出現隱藏觸發條件時發出攻擊者指令,且無需重新訓練。修改後的模型仍能通過標準評估,並在觸發前表現正常,觸發條件可以簡單到只是日期變更,隨後代理便以其被賦予的任何權限執行下載的程式碼。作者表示,偵測需要與原始權重進行差異比對,而 Microsoft Foundry 已將開放權重模型與其發行商綁定並掃描其容器,同時紅隊測試框架、基於代理的權重掃描以及具備防篡改來源證明的簽署模型正在開發中。

    推薦理由:微軟研究人員展示,重新程式化不到 10 個休眠神經元即可在無需重新訓練的情況下對 LLM 代理植入後門,這使得權重來源與完整性成為實際的安全需求。

  1. Microsoft Research64

    微軟研究院與共同作者證明31年前的KLS猜想

    微軟研究員Xinzhi Zhang與一位共同作者證明了Kannan-Lovász-Simonovits(KLS)猜想,這是高維幾何中懸而未決31年的問題,證明其界線以一個與維度無關的通用常數成立。該證明源自一個由人類引導的代理式流程,其中AI代理探索了超過100種候選方法,而研究人員則進行篩選並重新引導搜尋;另一次以領先模型在相當token預算下進行的無引導嘗試則未能成功。同日另有兩項證明出現,隨後並發布了Lean 4形式化。

    推薦理由:高維幾何中懸而未決31年的問題,透過人類引導的代理式搜尋、探索約100種候選方法而獲得解決,並有獨立證明與Lean形式化作為確認。

已經到底了