Import AI· Jack Clark·· 11 天前AI 评分42
Import AI 479:Spacewar、低延迟任务与LLM的对比、Genie 4
Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4
AI 导读
Import AI 479 介绍了 Realtime-Bench,这是一个包含 50 项任务的基准测试,由 UT Austin、Ohio State、UIUC、NVIDIA、Northwestern 和 Steadyworks 的研究人员构建,包含 30 项网页任务和 20 项游戏任务,用于测试前沿模型能否在实时压力下行动。GPT-6 Astra(high)取得了最高的实际耗时通过率,为 36%,而在暂停计时的运行中,高推理模型可达到约 70% 至 80%。本期还涵盖了国防情报局的《太空安全挑战》报告以及 Genie 4。
来源:Import AI · importai.substack.com