The Pragmatic Engineer· Gergely Orosz·· 8 小時前AI 評分60
給軟體工程師的推論工程:從前沿 API 轉向開源模型
Inference engineering for software engineers
AI 導讀
The Pragmatic Engineer 訪問了 Modal、Fireworks AI 和 Baseten,說明軟體工程師從前沿實驗室的 API 轉向開源模型時的推論工程。這份指南涵蓋何時該為了成本、延遲控制與微調而轉換,如何透過評估來挑選模型與供應商,以及從多租戶 API 替代方案到專用 GPU 的進階路徑。文中也詳述了實務上的陷阱,例如長尾 TTFT 延遲、KV 快取與提示快取的行為,以及無狀態 API 快取的成本。
來源:The Pragmatic Engineer · newsletter.pragmaticengineer.com