Hacker News · AI·· 16 小時前AI 評分38
Show HN:NCM 模型——吃記憶體的 LLM 要絕跡了嗎?
Show HN: New Model- NCM Model – Are Memory Hungry LLMs Dead
AI 導讀
一篇 Show HN 貼文介紹了 Next Concept Modeling(NCM),這是史丹佛提出的架構,以平行層次生成文字,而非逐個 token 生成,把傳統模型需要 1,000 次傳遞的回應縮減到 32 次——執行時速度約提升 30 倍。該設計採用嵌套 dropout、條件腐蝕,以及在 20 個候選上以 Minimum Bayes Risk(MBR)共識進行的測試時擴展,以抑制幻覺。若它能擴展到兆參數模型,前沿級 AI 就能在消費級硬體上運行。
來源:Hacker News · AI · codedynasty.dev