Ai2 发布 StateBench，用于测试语言模型如何在长文档中追踪状态变化

Ai2 推出了 StateBench，这是一个具有四个难度级别的长上下文状态追踪基准，涵盖从不可变赋值到自引用和交叉引用更新。在测试中，Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 能够处理较简单的级别，但在最长的通用有限问题上降至 13% 或更低；而 275M 参数的 Gated DeltaNet 和从头训练的混合模型在前三个级别上几乎完美泛化，Transformer 则始终未能学会最难的级别。