inclusionAI Models·· 15 天前AI 评分34
inclusionAI 发布 Ling-3.0-flash-Sante-fp8,一个 FP8 量化的医疗健康模型
inclusionAI/Ling-3.0-flash-Sante-fp8
AI 导读
inclusionAI 发布了 Ling-3.0-flash-Sante-fp8,这是其医疗健康专用模型 Ling-3.0-flash-Sante 的 FP8 量化版本,保持 124B 总参数和每 token 5.1B 激活参数。它在医疗健康基准测试上的平均分为 73.9,与 BF16 检查点持平,同时降低了支持 FP8 的硬件的权重内存占用。该仅用于研究的模型支持 256K token 上下文,默认使用带工具调用的思考模式。
来源:inclusionAI Models · huggingface.co