普林斯頓研究員 ICML 主題演講:還剩下什麼工作留給我們?
普林斯頓大學一位研究員在 ICML 主題演講中主張,「AI 作為常規技術」的框架依然成立,除非出現遞迴式自我改進這類不連續躍遷;同時,沒有任何實驗室的里程碑會突然消滅所有工作。演講呼籲培養互補技能、自主性與判斷力,而非趕在技能變得無關緊要之前競相累積財富。
普林斯頓大學一位研究員在 ICML 主題演講中主張,「AI 作為常規技術」的框架依然成立,除非出現遞迴式自我改進這類不連續躍遷;同時,沒有任何實驗室的里程碑會突然消滅所有工作。演講呼籲培養互補技能、自主性與判斷力,而非趕在技能變得無關緊要之前競相累積財富。
Vapi 的擬真度指數是一項盲測群眾外包排行榜,由聽眾從兩段克隆語音中選出哪一段聽起來更像真人。在超過 11,000 票之後,xAI 的 Grok TTS 獲 95 分,MiniMax Speech 2.5 獲 93 分,而真人錄音為 100 分。每場對決中,各模型都使用相同的克隆語音與腳本,且真人錄音也納入比較組,因此 95 分意味著聽眾在同一段引文上選擇 Grok TTS 的比例幾乎與選擇真人相同。Vapi 主張自然度已不再是語音代理的瓶頸,因為來電者實際體驗到的是聲音,而非其背後的推理能力。
Ethan Mollick 主張,AI 的使用正從聊天機器人式的協作智慧,轉向需要較少人為介入、長時間運行的代理,而且這種轉變發生得很快。他引用 METR、英國 AI 安全研究所與 GDPval 的基準,其上升速度超過指數成長;並引用 Epoch 的發現:Opus 4.7 獨自工作了 14 小時,打造出一套軟體套件,估計相當於 2 至 17 週的人力工程,花費 251 美元的 token。OpenAI 與學術經濟學家的一項研究發現,四分之一 OpenAI 員工每週至少運行四個代理,法務與人資的採用速度幾乎與程式設計師相當;而一項 Claude Code 研究發現,預測成功的是領域專業知識,而非職業。
Factory 建立了一個開源基準測試,以來自 Sentry、Grafana、Keycloak、Discourse 和 Cal.com 的 50 個真實 pull request 測試 13 個模型,每個模型都以高推理強度對每個 PR 至少審查三次,並由 LLM 評審依據人工策劃的黃金標準集對發現進行評分。GPT-5.2 以 60.5% F1、每個 PR 1.25 美元領先,領先 Claude Opus 4.6 的 59.8% F1 和每個 PR 3.11 美元,而 MiniMax M2.7 以每個 PR 0.15 美元達到 45.6% F1,Kimi K2.5 以 0.41 美元達到 51.9% F1。Factory 表示成本僅解釋約 21% 的品質變異,並開源了黃金標準集、評估腳本以及支援全部 13 個模型的 Droid Action GitHub Action。
Factory 推出 Agent Readiness,從八個技術支柱與五個成熟度等級評估程式碼庫對自主開發的支援程度,可透過 Droid 中的 /readiness-report、組織儀表板或 API 執行。每項標準皆為二元判定,唯有當某等級 80% 的標準及所有先前等級皆通過時,該等級才會解鎖;將每次評估建立於儲存庫先前的報告之上,使 9 個基準儲存庫在六週內的評分變異從平均 7% 降至 0.6%。報告可觸發代理開啟拉取請求,以修正未通過的標準,例如缺少 AGENTS.md、linter 設定或 pre-commit hooks。
Modal 運用評估與推論時運算擴展來改進其 QArt 碼系統,將 QR 掃描率提升至其 95% 的服務水準目標,同時改善美學品質,並在 p95 下於 20 秒內回傳程式碼。此項工作遵循標準的機器學習做法:收集人類判斷、與之對齊,然後擴展,解決了「在我提示下有效」的落差,該落差導致許多生成的 QR 碼無法掃描。
Claude 與 ChatGPT 在對話品質、上下文記憶、速度、功能、創意寫作、研究、定價與介面等方面進行比較。Claude 為 Pro 用戶處理高達 200,000+ 個 token,擅長創意寫作與細膩對話,而 ChatGPT 支援 128,000 個 token,回應時間為 2-3 秒,Claude 則為 5-10 秒,並提供圖像生成與 Custom GPTs。兩者的 Pro 方案皆為每月 $20,Claude Max 為 $100-$200,ChatGPT Pro 為 $200。
Vapi 比較 GPT-4.1 與 Claude 3.7 Sonnet 作為語音代理背後的大型語言模型,權衡對話品質、上下文處理、推理透明度、平台整合與成本。GPT-4.1 提供 1,000,000 個 token 的上下文視窗與 32,768 個 token 的輸出,並有 75% 的快取折扣;Claude 3.7 則提供 200,000 個 token 的上下文與 128,000 個 token 的輸出。兩款模型皆可在 Vapi 的語音代理平台上選用。
一項針對五款 Speechify 替代方案的比較,選出 NaturalReader 適合跨裝置使用與應用程式整合,每年 $119;Voice Dream Reader 適合 iPhone 語音控制,一次性價格 $14.99;Murf AI 提供專業語音,每月約 $19 起。ReadSpeaker 專注於跨 45 種語言朗讀網頁,每月 $4.90 起,而 Balabolka 是免費的 Windows 專用選項。
Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張,顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000,對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM,並以 Modal Sandboxes 進行平行測試執行,成本遠低於 50 美元,且在三個數量級上展現平滑、可預測的擴展。
推薦理由:一項實作重現顯示,小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o,提供了一個具體、低成本以運算換取準確率的配方。