ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

The Pragmatic Engineer เผยแพร่คู่มือวิศวกรรมอนุมาน

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 8 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

The Pragmatic Engineer เผยแพร่คู่มือเกี่ยวกับวิศวกรรมอนุมานสำหรับวิศวกรซอฟต์แวร์ที่ย้ายจาก API ของห้องแล็บชั้นแนวหน้าไปสู่โมเดลเปิด โดยอ้างอิงจากการสัมภาษณ์ Modal, Fireworks AI และ Baseten ครอบคลุมถึงกรณีที่การสลับมีความสมเหตุสมผลด้านต้นทุน การควบคุมเวลาแฝง และการปรับแต่งละเอียด วิธีเลือกโมเดลและผู้ให้บริการโดยใช้การประเมิน และเส้นทางจากการแทนที่ API แบบหลายผู้เช่าด้วยการรัน GPU เฉพาะ คู่มือยังลงรายละเอียดข้อผิดพลาดในทางปฏิบัติ รวมถึงเวลาแฝงแบบหางยาวในการสร้างโทเคนแรก พฤติกรรมของ KV cache และ prompt cache และต้นทุนแคชที่มาพร้อมกับ API แบบไร้สถานะ

สร้างจากรายงาน · อัปเดต 7 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. The Pragmatic Engineer
    วิศวกรรม Inference สำหรับวิศวกรซอฟต์แวร์: ก้าวจาก frontier APIs สู่โมเดลเปิด

    The Pragmatic Engineer สัมภาษณ์ Modal, Fireworks AI และ Baseten เพื่ออธิบายวิศวกรรม inference สำหรับวิศวกรซอฟต์แวร์ที่ย้ายจาก frontier-lab APIs ไปสู่โมเดลเปิด คู่มือนี้ครอบคลุมว่าเมื่อใดควรสลับเพื่อควบคุมต้นทุน ความหน่วง และการ fine-tuning วิธีเลือกโมเดลและผู้ให้บริการด้วย evals และเส้นทางการยกระดับจากการแทนที่ API แบบ multi-tenant ไปสู่ GPU เฉพาะ นอกจากนี้ยังลงรายละเอียดข้อควรระวังในทางปฏิบัติ เช่น ความหน่วง TTFT ในหางยาว พฤติกรรมของ KV cache และ prompt cache และต้นทุนการแคชของ API แบบ stateless

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
8
จุดสูงสุดในช่วงที่เทียบได้
1018 พฤศจิกายน 01:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู