Goodfire Research·· 2026-10-08精選AI 評分71
Goodfire 在 Kimi K3 和 GLM 5.3 上訓練並部署基於探針的網路濫用監控器
Training and Deploying Production Cyber Monitors on Kimi K3
AI 導讀
3 並將其部署到生產推理堆疊上,其中一個低成本的探針會過濾對話輪次,只有可疑的交流才會送到 LLM 評審。良性會話中斷率為 5%,在沒有評審推理的情況下每百萬輪次成本為 65 美元,有評審推理時為 185 美元,並且在 SGLang 內沒有可測量的吞吐量損失。
推薦理由
Goodfire 展示了一種探針加評審的級聯方案,能以大約低 50 倍的成本監控代理式網路濫用,且沒有可測量的吞吐量損失,這是安全地提供開放模型服務的具體配方。
來源:Goodfire Research · goodfire.com