PacketSnitch สร้างเราเตอร์เครื่องมือ AI ขนาดเล็กบน Qwen2.5
เริ่มตรงนี้
นักพัฒนาของ PacketSnitch สร้างเราเตอร์เครื่องมือภาษาธรรมชาติที่อาศัยดัชนีเอกสารที่แอปสร้างไว้ล่วงหน้าแทนการโหลดทุกฟังก์ชันเข้าไปในพรอมป์ต์ โมเดล Qwen2.5-Instruct ขนาด 0.5B จัดการเจตนาที่ตรงไปตรงมา และตรรกะของแอปจะส่งต่อเอาต์พุตที่ซับซ้อนหรือไม่ถูกต้องไปยังโมเดลขนาด 1.5B นักพัฒนารายงานว่าค่าใช้จ่ายในการฝึกโมเดลอยู่ที่ประมาณ $40 และตอบสนองใน 153ms ในกรณีทดสอบหนึ่งกรณี และกล่าวว่าโมเดลที่ได้สามารถรันบนแล็ปท็อปที่มีหน่วยความจำ 32GB โดยไม่ใช้จนหมด ตัวเลขเหล่านี้เป็นคำบอกเล่าของนักพัฒนาเอง ไม่ใช่ผลลัพธ์ที่ตรวจสอบอย่างเป็นอิสระ
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIPacketSnitch สร้างเราเตอร์เครื่องมือ AI ขนาดเล็กบนโมเดล Qwen2.5 พร้อมการค้นหาเอกสาร
นักพัฒนา PacketSnitch อธิบายการสร้างเราเตอร์เครื่องมือภาษาธรรมชาติที่ใช้ดัชนีเอกสารที่สร้างไว้ล่วงหน้าของแอปเอง แทนที่จะโหลดทุกฟังก์ชันเข้าไปในพรอมต์ โมเดล Qwen2.5-Instruct ขนาด 0.5B จัดการเจตนาที่ตรงไปตรงมา ขณะที่ตรรกะของแอปจะส่งต่อเอาต์พุตที่ซับซ้อนหรือไม่ถูกต้องไปยังโมเดลขนาด 1.5B และผู้เขียนรายงานว่าค่าใช้จ่ายในการฝึกประมาณ $40 และการตอบสนอง 153ms ในกรณีทดสอบหนึ่งกรณี
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม