跳至正文
Hacker News · AI·· 16 小時前AI 評分36

Show HN:AI Agent 基礎設施與記憶壓縮規格

Show HN: AI Agent Infrastructure and Memory Compaction Specifications

AI 導讀

一篇 Show HN 貼文發布了針對 AI agent 基礎設施所整理的架構規格,核心是三層滾動式記憶壓縮設計:固定不變的不變量、去重事實的壓縮帳本,以及最近 4-6 輪的熱原始尾部。在 Llama-3.3-70B 於 4×A100 上運行的 SWE-bench Verified 子集上,作者報告系統規則召回率達 97.8%,每次運行 0.62M tokens,相較於樸素的上下文緩衝區減少了 66%。這些規格還涵蓋透過 xgrammar 與 outlines 進行的 schema 約束解碼、MCP 強化,以及 gVisor/Firecracker 沙箱化。

來源:Hacker News · AI · github.com