The Pragmatic Engineer công bố hướng dẫn về kỹ thuật suy luận
Bắt đầu từ đây
The Pragmatic Engineer đã công bố một hướng dẫn về kỹ thuật suy luận dành cho các kỹ sư phần mềm chuyển từ API của các phòng thí nghiệm tiên phong sang các mô hình mở, dựa trên các cuộc phỏng vấn với Modal, Fireworks AI và Baseten. Hướng dẫn đề cập khi nào việc chuyển đổi là hợp lý về chi phí, kiểm soát độ trễ và tinh chỉnh, cách chọn mô hình và nhà cung cấp bằng evals, và lộ trình từ việc thay thế API đa người thuê sang chạy GPU chuyên dụng. Hướng dẫn cũng trình bày chi tiết các cạm bẫy thực tế, bao gồm độ trễ time-to-first-token ở đuôi dài, hành vi của KV cache và prompt cache, và các chi phí lưu trữ đi kèm với API không trạng thái.
Tạo từ các bài viết · cập nhật 7 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- The Pragmatic EngineerKỹ thuật suy luận cho kỹ sư phần mềm: chuyển từ API tiên phong sang mô hình mở
The Pragmatic Engineer đã phỏng vấn Modal, Fireworks AI và Baseten để giải thích về kỹ thuật suy luận cho các kỹ sư phần mềm khi rời bỏ API của các phòng thí nghiệm tiên phong để chuyển sang mô hình mở. Hướng dẫn này đề cập đến thời điểm nên chuyển đổi vì chi phí, kiểm soát độ trễ và tinh chỉnh, cách chọn mô hình và nhà cung cấp bằng đánh giá, và lộ trình từ thay thế API đa thuê bao đến GPU chuyên dụng. Nó cũng trình bày chi tiết các cạm bẫy thực tế như độ trễ TTFT đuôi dài, hành vi bộ nhớ đệm KV và bộ nhớ đệm prompt, và chi phí bộ nhớ đệm API không trạng thái.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 8
- Đỉnh, trong khoảng so sánh được
- 1018 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.