跳至正文
Hacker News · AI·· 2 小時前AI 評分58

PacketSnitch 以 Qwen2.5 模型打造小型 AI 工具路由器,並具備文件查詢功能

Teaching PacketSnitch to Use Its Own Documentation: Build a Small AI Tool Router

AI 導讀

PacketSnitch 開發者描述如何打造一個自然語言工具路由器,它使用應用程式自身預先產生的文件索引,而非將每個函式都載入提示中。0.5B 的 Qwen2.5-Instruct 模型負責處理簡單意圖,而應用邏輯則將複雜或無效的輸出升級至 1.5B 模型處理;作者表示訓練運算成本約 40 美元,且在某個測試案例中回應時間為 153 毫秒。

來源:Hacker News · AI · packetsnitch.com