跳至正文

技術方向

部署工程 最新動態

怎麼把模型跑得更快更省錢：推理加速、視訊記憶體與成本、服務部署與基礎設施選型。

62 條精選近 30 天 34 條共收錄 472 條

11月13日 08:32更新

部署工程 · 精選 · 第 4 頁

2024年8月5日星期一第 61–62 條 / 共 62 條
  1. Modal Blog62

    Modal 重現 Large Language Monkeys：LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵

    Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。

    推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。

2023年7月21日星期五
  1. Cursor Changelog62

    Cursor 分析 Llama-2-70B 推論成本與延遲，並與 GPT-3.5 對比

    Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。

    推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。