Tới nội dung
Sự việc nóngĐang diễn ra

PacketSnitch xây dựng một bộ định tuyến công cụ AI mô hình nhỏ trên Qwen2.5

1 bài viết1 nguồn đưa tinCập nhật 2 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Nhà phát triển của PacketSnitch đã xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên dựa vào chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, và logic ứng dụng sẽ chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B. Nhà phát triển báo cáo chi phí huấn luyện khoảng 40 USD và thời gian phản hồi 153ms trên một trường hợp thử nghiệm, đồng thời cho biết mô hình thu được chạy trên một laptop có 32GB bộ nhớ mà không dùng hết toàn bộ. Những con số này là lời kể của chính nhà phát triển, không phải kết quả đã được xác minh độc lập.

Tạo từ các bài viết · cập nhật 2 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

20 tháng 11
  1. Hacker News · AI
    PacketSnitch xây dựng một bộ định tuyến công cụ AI nhỏ trên các mô hình Qwen2.5 với tra cứu tài liệu

    Nhà phát triển PacketSnitch mô tả việc xây dựng một bộ định tuyến công cụ bằng ngôn ngữ tự nhiên, sử dụng chỉ mục tài liệu được tạo sẵn của chính ứng dụng thay vì nạp mọi hàm vào prompt. Một mô hình Qwen2.5-Instruct 0.5B xử lý các ý định đơn giản, trong khi logic ứng dụng chuyển các đầu ra phức tạp hoặc không hợp lệ lên mô hình 1.5B, và tác giả báo cáo chi phí huấn luyện khoảng $40 và phản hồi 153ms trên một trường hợp thử nghiệm.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.