Hacker News · AI·· 2 giờ trướcĐiểm AI58
PacketSnitch xây dựng một bộ định tuyến công cụ AI nhỏ trên các mô hình Qwen2.5 với tra cứu tài liệu
Teaching PacketSnitch to Use Its Own Documentation: Build a Small AI Tool Router
Tóm tắt bằng AI
Nhà phát triển PacketSnitch mô tả việc xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên, sử dụng chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, trong khi logic ứng dụng chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B, và tác giả báo cáo chi phí huấn luyện khoảng $40 và phản hồi 153ms trên một trường hợp thử nghiệm.
Nguồn:Hacker News · AI · packetsnitch.com