CTO ของ Cosmonic อธิบายสี่วิธีในการรัน AI Inference บน Wasm
เริ่มตรงนี้
Bailey Hayes CTO ของ Cosmonic อธิบายสี่แนวทางในการรัน AI inference บน WebAssembly ด้วย wasmCloud ได้แก่ wasi-nn, wasi-webgpu, การคอมไพล์โมเดลเป็น Wasm และอินเทอร์เฟซกับ provider แบบกำหนดเอง คอมโพเนนต์ตัวอย่างตัววิเคราะห์ภาพที่เรียก Ollama API เพื่อจำแนกประเภทภาพมีขนาดเพียง 292 กิโลไบต์ เล็กกว่าคอนเทนเนอร์แบบดั้งเดิมมาก Hayes กล่าวว่า wasi-webgpu ยังไม่มีโซลูชันสำเร็จรูปและเหมาะกับผู้ปฏิบัติที่มีประสบการณ์มากกว่า สำหรับการใช้งานบนเว็บ, edge หรือ local-first เธอแนะนำโมเดลแบบ quantized ที่บีบอัดมากกว่า และกล่าวว่า Ollama ทำงานได้ดีสำหรับแอปพลิเคชัน lokal และ edge แต่ต้องมีรูปแบบของการล็อกเวิร์กโหลดก่อนรันบน GPU
สร้างจากรายงาน · อัปเดต 19 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIการรันเวิร์กโหลด ML และ AI แบบกระจายด้วย wasmCloud
Bailey Hayes CTO ของ Cosmonic อธิบายสี่วิธีในการรัน AI inference บน WebAssembly ด้วย wasmCloud ได้แก่ wasi-nn, wasi-webgpu, การคอมไพล์โมเดลเป็น Wasm และอินเทอร์เฟซและผู้ให้บริการแบบกำหนดเอง คอมโพเนนต์ตัววิเคราะห์ภาพตัวอย่างใช้ Ollama API สำหรับการจำแนกภาพและมีขนาดเพียง 292 กิโลไบต์ เล็กกว่าคอนเทนเนอร์แบบดั้งเดิมมาก
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 6
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 09:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู