跳至正文
The Pragmatic Engineer· Gergely Orosz·· 8 小時前AI 評分60

給軟體工程師的推論工程:從前沿 API 轉向開源模型

Inference engineering for software engineers

AI 導讀

The Pragmatic Engineer 訪問了 Modal、Fireworks AI 和 Baseten,說明軟體工程師從前沿實驗室的 API 轉向開源模型時的推論工程。這份指南涵蓋何時該為了成本、延遲控制與微調而轉換,如何透過評估來挑選模型與供應商,以及從多租戶 API 替代方案到專用 GPU 的進階路徑。文中也詳述了實務上的陷阱,例如長尾 TTFT 延遲、KV 快取與提示快取的行為,以及無狀態 API 快取的成本。

來源:The Pragmatic Engineer · newsletter.pragmaticengineer.com