Hacker News · AI·· 8 giờ trướcĐiểm AI62
Cua phát hành Hoy, một VMM macOS trên Hypervisor.framework với tăng tốc GPU cho các mô hình cục bộ
Hoy: A macOS VMM on Hypervisor.framework with GPU acceleration for local models
Tóm tắt bằng AI
Cua đã phát hành Hoy, một trình giám sát máy ảo macOS mã nguồn đóng được xây dựng trên Hypervisor.framework của Apple, nhắm đến các tác nhân, CI, học tăng cường và đánh giá cần một môi trường desktop macOS. Trên một máy M4 Pro, một VM Hoy đạt ssh trong 5,3 giây so với 6,6 giây với Virtualization framework của Apple, và khôi phục trong 1,2 giây so với 3,0 giây. Hoy bổ sung tính năng snapshot, khôi phục và fork các VM đang chạy, cùng một chế độ GPU thử nghiệm trong đó llama.cpp trong một VM Hoy chạy ở 95 đến 97% tốc độ xử lý prompt gốc trên một máy Mac M2.
Nguồn:Hacker News · AI · hoy.cua.ai