跳到正文
热点事件持续更新

Cosmonic CTO 概述在 Wasm 上运行 AI 推理的四种方式

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

Cosmonic CTO Bailey Hayes 介绍了使用 wasmCloud 在 WebAssembly 上运行 AI 推理的四种方法:wasi-nn、wasi-webgpu、将模型编译为 Wasm,以及自定义接口和 provider。一个调用 Ollama API 进行图像分类的演示图像分析器组件只有 292 KB,远小于传统容器。 Hayes 表示,wasi-webgpu 目前还没有现成的解决方案,更适合经验丰富的从业者。对于 Web、边缘或本地优先的使用场景,她建议使用量化、压缩程度更高的模型,并表示 Ollama 很适合本地和边缘应用,但在 GPU 上运行之前需要某种形式的工作负载锁定。

AI 根据报道生成 · 19 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hacker News · AI
    使用 wasmCloud 运行分布式机器学习和 AI 工作负载

    Cosmonic CTO Bailey Hayes 概述了使用 wasmCloud 在 WebAssembly 上运行 AI 推理的四种方式:wasi-nn、wasi-webgpu、将模型编译为 Wasm,以及自定义接口和提供程序。一个演示图像分析器组件使用 Ollama API 进行图像分类,大小仅为 292 KB,远小于传统容器。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月19日 09:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。