ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนเวลาให้กับโมเดลเปิด

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Baseten ได้เพิ่มการโหลดเครื่องมือแบบเลื่อนเวลา (deferred tool loading) ให้กับโมเดลเปิดที่ให้บริการผ่าน Baseten Model APIs ได้แก่ DeepSeek, Kimi และ GLM โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API แทนที่จะฉีดสคีมาของเครื่องมือทั้งหมดเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมกับเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP สามเซิร์ฟเวอร์) และจะแสดงสคีมาแบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ซึ่งช่วยให้คำนำหน้า KV cache ยังคงใช้ได้ Baseten รายงานว่าใน Claude Code ที่เปิดใช้ MCP สามตัว (Slack, Notion, Baseten) การรัน benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ส่วน benchmark แบบ agentic ที่ใช้เครื่องมือและ MCP ที่ตั้งไว้ล่วงหน้า งานมีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% ตัวเลขเหล่านี้เป็นการวัดของ Baseten เอง ความสามารถนี้พร้อมใช้งานทั่วไปผ่าน API สำหรับทีมที่สร้าง harness ของตนเองโดยคำนึงถึงบริบท

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. Baseten Blogคัดสรร
    Baseten นำการโหลดเครื่องมือแบบเลื่อนออกไปมาใช้กับโมเดลเปิด ลดต้นทุนเอเจนต์เขียนโค้ดได้ 62.5%

    Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปให้กับโมเดลเปิด (DeepSeek, Kimi, GLM) บน Baseten Model APIs โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API ในการทดสอบกับ Claude Code ที่เปิดใช้ MCP 3 ตัว benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ขณะที่ benchmark เชิงเอเจนต์มีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% แทนที่จะฉีด schema ของทุกเครื่องมือเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP 3 เซิร์ฟเวอร์) และแสดง schema แบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ทำให้คำนำหน้า KV cache ยังคงใช้ได้

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม