Import AI· Jack Clark·· 11 ngày trướcĐiểm AI42
Import AI 479: Spacewar, tác vụ độ trễ thấp so với LLM, Genie 4
Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4
Tóm tắt bằng AI
Import AI 479 đề cập đến Realtime-Bench, một bộ đánh giá gồm 50 tác vụ với 30 tác vụ web và 20 tác vụ trò chơi do các nhà nghiên cứu tại UT Austin, Ohio State, UIUC, NVIDIA, Northwestern và Steadyworks xây dựng nhằm kiểm tra liệu các mô hình tiên tiến có thể hành động dưới áp lực thời gian thực hay không. GPT-6 Astra (high) đạt tỷ lệ vượt qua theo thời gian thực cao nhất là 36%, trong khi các lần chạy với đồng hồ tạm dừng cho phép các mô hình suy luận cao đạt khoảng 70% đến 80%. Số này cũng đề cập đến báo cáo "Challenges to Security in Space" của Cơ quan Tình báo Quốc phòng và Genie 4.
Nguồn:Import AI · importai.substack.com