跳至正文
熱點事件持續更新

Cosmonic 技術長闡述在 Wasm 上執行 AI 推論的四種方式

1 篇報導1 個報導來源19 小時前更新

先了解這件事

AI 綜述

Cosmonic 技術長 Bailey Hayes 說明了以 wasmCloud 在 WebAssembly 上執行 AI 推論的四種做法:wasi-nn、wasi-webgpu、將模型編譯為 Wasm,以及自訂介面與提供者。一個會呼叫 Ollama API 進行影像分類的示範影像分析元件僅有 292 KB,遠小於傳統容器。 Hayes 表示,wasi-webgpu 目前尚無現成解決方案,較適合經驗豐富的實作者。對於 Web、邊緣或本地優先的用途,她建議採用經過量化、更為壓縮的模型,並表示 Ollama 適合本地與邊緣應用,但在 GPU 上執行前需要某種形式的工作負載鎖定。

AI 依報導生成 · 19 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Hacker News · AI
    使用 wasmCloud 執行分散式 ML 與 AI 工作負載

    Cosmonic 技術長 Bailey Hayes 概述了四種使用 wasmCloud 在 WebAssembly 上執行 AI 推論的方式:wasi-nn、wasi-webgpu、將模型編譯為 Wasm,以及自訂介面與提供者。一個示範影像分析元件使用 Ollama API 進行影像分類,大小僅 292 KB,遠小於傳統容器。

本事件熱度走勢

可比範圍當前
6
可比範圍峰值
1011月19日 09:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。