什么是 LLM 微调？技术与工具指南

微调会调整预训练 LLM 的权重，使其适配特定任务或领域，相比提示工程能提供更高质量，同时成本和延迟更低；一个经过微调的 Llama 7B 在性能相当的情况下，每 token 的成本效益大约比 GPT-3.5 高 50 倍。本指南涵盖结构化输出、风格遵循和领域特定指令等用例，以及 OpenAI、Predibase、Modal、Google Colab 和 AWS SageMaker 等选项，还有 HuggingFace transformers、TRL 和 Axolotl 等框架。