ข้ามไปที่เนื้อหา
Hacker News · AI·· 2 ชม. ที่แล้วคะแนน AI58

PacketSnitch สร้างเราเตอร์เครื่องมือ AI ขนาดเล็กบนโมเดล Qwen2.5 พร้อมการค้นหาเอกสาร

Teaching PacketSnitch to Use Its Own Documentation: Build a Small AI Tool Router

สรุปโดย AI

นักพัฒนา PacketSnitch อธิบายการสร้างเราเตอร์เครื่องมือภาษาธรรมชาติที่ใช้ดัชนีเอกสารที่สร้างไว้ล่วงหน้าของแอปเอง แทนที่จะโหลดทุกฟังก์ชันเข้าไปในพรอมต์ โมเดล Qwen2.5-Instruct ขนาด 0.5B จัดการเจตนาที่ตรงไปตรงมา ขณะที่ตรรกะของแอปจะส่งต่อเอาต์พุตที่ซับซ้อนหรือไม่ถูกต้องไปยังโมเดลขนาด 1.5B และผู้เขียนรายงานว่าค่าใช้จ่ายในการฝึกประมาณ $40 และการตอบสนอง 153ms ในกรณีทดสอบหนึ่งกรณี

แหล่งข่าว:Hacker News · AI · packetsnitch.com