inclusionAI Models·· 15 天前AI 評分34
inclusionAI 發布 Ling-3.0-flash-Sante-fp8,一款 FP8 量化的醫療保健模型
inclusionAI/Ling-3.0-flash-Sante-fp8
AI 導讀
inclusionAI 發布了 Ling-3.0-flash-Sante-fp8,這是其醫療保健專用模型 Ling-3.0-flash-Sante 的 FP8 量化版本,維持 124B 總參數與每 token 5.1B 活躍參數。它在醫療保健基準測試上達到與 BF16 檢查點相同的 73.9 平均分,同時為支援 FP8 的硬體降低了權重記憶體佔用。該研究用途模型支援 256K token 上下文,並預設為思考模式且支援工具呼叫。
來源:inclusionAI Models · huggingface.co