Hugging Face 解释决策模型及其在 Transformers 和 llama.cpp 中的支持

Hugging Face 发布了一篇关于决策模型的说明文章，这类模型接收一个状态和带类型的问题，返回预定义答案上的概率，而不是生成文本。文章详细介绍了 choice、score 和 noul 原语、置信度公式，以及通过 Transformers 的 DecisionPipeline 和 AutoModelForDecision 提供的新支持、Transformers 和 llama.cpp 中共享的 /v1/systemone 端点、用于发现的 Hub 标签，以及使用 Trainer API 进行微调。文章指出，同一端点也可通过在一次批量前向传播中对答案 logits 打分，与兼容的自回归 LLM 配合使用。