PacketSnitch xây dựng một bộ định tuyến công cụ AI mô hình nhỏ trên Qwen2.5
Bắt đầu từ đây
Nhà phát triển của PacketSnitch đã xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên dựa vào chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, và logic ứng dụng sẽ chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B. Nhà phát triển báo cáo chi phí huấn luyện khoảng 40 USD và thời gian phản hồi 153ms trên một trường hợp thử nghiệm, đồng thời cho biết mô hình thu được chạy trên một laptop có 32GB bộ nhớ mà không dùng hết toàn bộ. Những con số này là lời kể của chính nhà phát triển, không phải kết quả đã được xác minh độc lập.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIPacketSnitch xây dựng một bộ định tuyến công cụ AI nhỏ trên các mô hình Qwen2.5 với tra cứu tài liệu
Nhà phát triển PacketSnitch mô tả việc xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên, sử dụng chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, trong khi logic ứng dụng chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B, và tác giả báo cáo chi phí huấn luyện khoảng $40 và phản hồi 153ms trên một trường hợp thử nghiệm.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.