Modal benchmark mở các mô hình ASR cho phiên âm hàng loạt với tốc độ nhanh gấp 100 lần và tiết kiệm chi phí
Modal đã triển khai dịch vụ phiên âm hàng loạt trên nền tảng của mình bằng cách sử dụng parakeet-tdt-0.6b-v2 và canary-1b-flash của NVIDIA, báo cáo hiệu suất end-to-end nhanh hơn 100 lần hoặc rẻ hơn 100 lần so với một API ASR độc quyền phổ biến trong khi vẫn đạt tỷ lệ lỗi tương đương trên khoảng một tuần âm thanh benchmark ESB. Nhóm nghiên cứu cho rằng những lợi ích này đến từ việc xáo trộn tệp giữa các lô yêu cầu, sắp xếp âm thanh theo thời lượng trong các lô GPU, tải xuống song song và các cấu hình GPU và worker được chọn theo thực nghiệm. Bài viết trình bày kiến trúc và các bước tối ưu hóa để người khác có thể xây dựng các dịch vụ tương tự.