Hacker News · AI·· 16 小时前AI 评分38
Show HN:NCM 模型——吃内存的大语言模型要终结了吗?
Show HN: New Model- NCM Model – Are Memory Hungry LLMs Dead
AI 导读
一篇 Show HN 帖子介绍了 Next Concept Modeling(NCM),这是斯坦福提出的一种架构,它按层并行生成文本,而非逐 token 生成,把传统模型需要 1,000 次前向传播的响应压缩到 32 次——运行时大约提升 30 倍。该设计使用嵌套 dropout、条件扰动,以及基于 Minimum Bayes Risk(MBR)共识对 20 个候选进行测试时扩展,以抑制幻觉。如果它能扩展到万亿参数模型,前沿级 AI 或许能在消费级硬件上运行。
来源:Hacker News · AI · codedynasty.dev