從 CUDA 到 MLX：K-Search 將核心優化專業知識帶到 Apple Silicon

IBM Research 擴展了 K-Search——來自 UC Berkeley Sky Lab 的演化式核心搜尋框架——加入了 MLX 後端，以及一個結構化的 CUDA 到 MLX 轉譯層，可將現有的 CUDA 核心改寫為 Apple Silicon 核心。在一個 MLX 注意力核心上，此方法達到了 Apple 原生 MLX Attention 核心速度的 0.97 倍，而在沒有轉譯上下文的情況下僅為 0.26 倍；在 M1 Max 上，一個演化出的 Mamba SSM 核心相較於社群版 mlx-lm 實作，prefill 速度提升最高達 20 倍。作者將此增益主要歸因於提供給 LLM 的上下文與約束品質，而非其撰寫 Metal 程式碼的能力，並表示該方法並非專屬於 MLX。