Hacker News · AI·· 6 小时前AI 评分22
为什么替换一次 LLM 调用不只是意图分类那么简单
LLM call is doing more than you think
AI 导读
Audiala 用一个决策模型替换了 LLM 路由器,23 分钟后又回滚了,因为原来的调用还负责解析城市、对话指代和工具控制标志。文章认为,替换的单位应该是应用所依赖的行为,并逐步讲解了如何还原一次调用的契约、构建替代方案,以及评估完整的替换。文章还区分了匹配输出 schema、与现有方案保持一致,以及满足应用需求这三件事。
来源:Hacker News · AI · seldon-ai.com