Hacker News · AI·· 2 小时前AI 评分58
PacketSnitch 基于 Qwen2.5 模型构建了一个带文档查询的小型 AI 工具路由器
Teaching PacketSnitch to Use Its Own Documentation: Build a Small AI Tool Router
AI 导读
PacketSnitch 开发者描述了一个自然语言工具路由器的构建过程:它使用应用自身预生成的文档索引,而不是把所有函数都加载进提示词。0.5B 的 Qwen2.5-Instruct 模型处理简单意图,应用逻辑则把复杂或无效输出升级给 1.5B 模型;作者称训练算力花费约 40 美元,某个测试用例的响应时间为 153ms。
来源:Hacker News · AI · packetsnitch.com