Tới nội dung
Sự việc nóngĐang diễn ra

CTO của Cosmonic phác thảo bốn cách chạy suy luận AI trên Wasm

1 bài viết1 nguồn đưa tinCập nhật 19 giờ trước

Bắt đầu từ đây

Tóm tắt AI

CTO của Cosmonic, Bailey Hayes, đã mô tả bốn cách tiếp cận để chạy suy luận AI trên WebAssembly với wasmCloud: wasi-nn, wasi-webgpu, biên dịch mô hình sang Wasm, và các giao diện cùng nhà cung cấp tùy chỉnh. Một thành phần phân tích hình ảnh demo gọi API Ollama để phân loại hình ảnh chỉ nặng 292 kilobyte, nhỏ hơn nhiều so với một container truyền thống. Hayes cho biết wasi-webgpu chưa có giải pháp sẵn có và phù hợp hơn với những người thực hành có kinh nghiệm. Đối với nhu cầu sử dụng trên web, ở biên hoặc ưu tiên cục bộ, bà khuyến nghị dùng mô hình lượng tử hóa, nén nhiều hơn, và nói rằng Ollama hoạt động tốt cho các ứng dụng cục bộ và ở biên nhưng cần một hình thức khóa khối lượng công việc trước khi chạy trên GPU.

Tạo từ các bài viết · cập nhật 19 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hacker News · AI
    Chạy khối lượng công việc ML và AI phân tán với wasmCloud

    Giám đốc công nghệ của Cosmonic, Bailey Hayes, phác thảo bốn cách để chạy suy luận AI trên WebAssembly với wasmCloud: wasi-nn, wasi-webgpu, biên dịch mô hình sang Wasm, và các giao diện và nhà cung cấp tùy chỉnh. Một thành phần phân tích hình ảnh demo sử dụng API Ollama để phân loại hình ảnh và chỉ có 292 kilobyte, nhỏ hơn nhiều so với một container truyền thống.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
6
Đỉnh, trong khoảng so sánh được
1019 tháng 11 09:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.