Tới nội dung
Hacker News · AI·· 2 giờ trướcĐiểm AI58

PacketSnitch xây dựng một bộ định tuyến công cụ AI nhỏ trên các mô hình Qwen2.5 với tra cứu tài liệu

Teaching PacketSnitch to Use Its Own Documentation: Build a Small AI Tool Router

Tóm tắt bằng AI

Nhà phát triển PacketSnitch mô tả việc xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên, sử dụng chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, trong khi logic ứng dụng chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B, và tác giả báo cáo chi phí huấn luyện khoảng $40 và phản hồi 153ms trên một trường hợp thử nghiệm.

Nguồn:Hacker News · AI · packetsnitch.com