CTO của Cosmonic phác thảo bốn cách chạy suy luận AI trên Wasm
Bắt đầu từ đây
CTO của Cosmonic, Bailey Hayes, đã mô tả bốn cách tiếp cận để chạy suy luận AI trên WebAssembly với wasmCloud: wasi-nn, wasi-webgpu, biên dịch mô hình sang Wasm, và các giao diện cùng nhà cung cấp tùy chỉnh. Một thành phần phân tích hình ảnh demo gọi API Ollama để phân loại hình ảnh chỉ nặng 292 kilobyte, nhỏ hơn nhiều so với một container truyền thống. Hayes cho biết wasi-webgpu chưa có giải pháp sẵn có và phù hợp hơn với những người thực hành có kinh nghiệm. Đối với nhu cầu sử dụng trên web, ở biên hoặc ưu tiên cục bộ, bà khuyến nghị dùng mô hình lượng tử hóa, nén nhiều hơn, và nói rằng Ollama hoạt động tốt cho các ứng dụng cục bộ và ở biên nhưng cần một hình thức khóa khối lượng công việc trước khi chạy trên GPU.
Tạo từ các bài viết · cập nhật 19 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIChạy khối lượng công việc ML và AI phân tán với wasmCloud
Giám đốc công nghệ của Cosmonic, Bailey Hayes, phác thảo bốn cách để chạy suy luận AI trên WebAssembly với wasmCloud: wasi-nn, wasi-webgpu, biên dịch mô hình sang Wasm, và các giao diện và nhà cung cấp tùy chỉnh. Một thành phần phân tích hình ảnh demo sử dụng API Ollama để phân loại hình ảnh và chỉ có 292 kilobyte, nhỏ hơn nhiều so với một container truyền thống.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 09:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.