跳至正文
SemiAnalysis· Max Kan·· 12 天前AI 評分58

SemiAnalysis 發布 GDPx 基準,用於評估高價值領域的前沿代理能力

GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains

AI 導讀

SemiAnalysis 發布 GDPx,這是一項涵蓋晶片設計、網路安全、生物學、金融、法律、量化交易、RSI、硬體設計、材料科學、對齊與軟體工程的基準,由 14 個專業強化學習環境合作夥伴共同打造。即便是最佳模型也僅得 12%,其中 Opus 5.5 在量化交易、硬體與晶片設計奪冠,Gemini 4 Carbon 在生物學與軟體工程領先,GPT-6 Astra 則在 RSI 與材料科學居首。每項任務都在逼真的模擬環境中執行,例如約 4,000 個檔案的私募股權交易室或即時多服務網路靶場,這與 OpenAI 的 GDPval 不同;SemiAnalysis 認為後者過度餵給上下文,且缺乏環境。

來源:SemiAnalysis · newsletter.semianalysis.com