Ramp 如何在 Modal 上使用微调 LLM 实现收据处理自动化

Ramp 使用 Modal 微调其 LLM，并构建了一个文本转结构化 JSON 的模型用于收据管理，使需要人工干预的收据减少了 34%，其基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行运行，20 分钟完成，花费 100 美元，而在本地则需要 3 天。