The Pragmatic Engineer เผยแพร่คู่มือวิศวกรรมอนุมาน
เริ่มตรงนี้
The Pragmatic Engineer เผยแพร่คู่มือเกี่ยวกับวิศวกรรมอนุมานสำหรับวิศวกรซอฟต์แวร์ที่ย้ายจาก API ของห้องแล็บชั้นแนวหน้าไปสู่โมเดลเปิด โดยอ้างอิงจากการสัมภาษณ์ Modal, Fireworks AI และ Baseten ครอบคลุมถึงกรณีที่การสลับมีความสมเหตุสมผลด้านต้นทุน การควบคุมเวลาแฝง และการปรับแต่งละเอียด วิธีเลือกโมเดลและผู้ให้บริการโดยใช้การประเมิน และเส้นทางจากการแทนที่ API แบบหลายผู้เช่าด้วยการรัน GPU เฉพาะ คู่มือยังลงรายละเอียดข้อผิดพลาดในทางปฏิบัติ รวมถึงเวลาแฝงแบบหางยาวในการสร้างโทเคนแรก พฤติกรรมของ KV cache และ prompt cache และต้นทุนแคชที่มาพร้อมกับ API แบบไร้สถานะ
สร้างจากรายงาน · อัปเดต 7 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- The Pragmatic Engineerวิศวกรรม Inference สำหรับวิศวกรซอฟต์แวร์: ก้าวจาก frontier APIs สู่โมเดลเปิด
The Pragmatic Engineer สัมภาษณ์ Modal, Fireworks AI และ Baseten เพื่ออธิบายวิศวกรรม inference สำหรับวิศวกรซอฟต์แวร์ที่ย้ายจาก frontier-lab APIs ไปสู่โมเดลเปิด คู่มือนี้ครอบคลุมว่าเมื่อใดควรสลับเพื่อควบคุมต้นทุน ความหน่วง และการ fine-tuning วิธีเลือกโมเดลและผู้ให้บริการด้วย evals และเส้นทางการยกระดับจากการแทนที่ API แบบ multi-tenant ไปสู่ GPU เฉพาะ นอกจากนี้ยังลงรายละเอียดข้อควรระวังในทางปฏิบัติ เช่น ความหน่วง TTFT ในหางยาว พฤติกรรมของ KV cache และ prompt cache และต้นทุนการแคชของ API แบบ stateless
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 8
- จุดสูงสุดในช่วงที่เทียบได้
- 1018 พฤศจิกายน 01:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู