ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

CTO ของ Cosmonic อธิบายสี่วิธีในการรัน AI Inference บน Wasm

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 19 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Bailey Hayes CTO ของ Cosmonic อธิบายสี่แนวทางในการรัน AI inference บน WebAssembly ด้วย wasmCloud ได้แก่ wasi-nn, wasi-webgpu, การคอมไพล์โมเดลเป็น Wasm และอินเทอร์เฟซกับ provider แบบกำหนดเอง คอมโพเนนต์ตัวอย่างตัววิเคราะห์ภาพที่เรียก Ollama API เพื่อจำแนกประเภทภาพมีขนาดเพียง 292 กิโลไบต์ เล็กกว่าคอนเทนเนอร์แบบดั้งเดิมมาก Hayes กล่าวว่า wasi-webgpu ยังไม่มีโซลูชันสำเร็จรูปและเหมาะกับผู้ปฏิบัติที่มีประสบการณ์มากกว่า สำหรับการใช้งานบนเว็บ, edge หรือ local-first เธอแนะนำโมเดลแบบ quantized ที่บีบอัดมากกว่า และกล่าวว่า Ollama ทำงานได้ดีสำหรับแอปพลิเคชัน lokal และ edge แต่ต้องมีรูปแบบของการล็อกเวิร์กโหลดก่อนรันบน GPU

สร้างจากรายงาน · อัปเดต 19 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Hacker News · AI
    การรันเวิร์กโหลด ML และ AI แบบกระจายด้วย wasmCloud

    Bailey Hayes CTO ของ Cosmonic อธิบายสี่วิธีในการรัน AI inference บน WebAssembly ด้วย wasmCloud ได้แก่ wasi-nn, wasi-webgpu, การคอมไพล์โมเดลเป็น Wasm และอินเทอร์เฟซและผู้ให้บริการแบบกำหนดเอง คอมโพเนนต์ตัววิเคราะห์ภาพตัวอย่างใช้ Ollama API สำหรับการจำแนกภาพและมีขนาดเพียง 292 กิโลไบต์ เล็กกว่าคอนเทนเนอร์แบบดั้งเดิมมาก

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
6
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 09:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู