Mô hình đa phương thức Inkling của Thinking Machines hiện đã có trên Modal
Thinking Machines đã phát hành Inkling, một mô hình đa phương thức đa dụng nhận đầu vào văn bản, hình ảnh và âm thanh và xuất ra văn bản, và Modal cung cấp nó ngay từ ngày đầu tiên dưới dạng Managed Endpoint với giá theo token. Inkling là một transformer hỗn hợp chuyên gia với tổng cộng 975B tham số, 41B hoạt động, cửa sổ ngữ cảnh 1M token và âm thanh cùng thị giác gốc, sử dụng năm lớp attention cửa sổ trượt cho mỗi lớp attention đầy đủ. Trên các khối lượng công việc tác tử với 8x B200, speculator DFlash tùy chỉnh của Modal đạt 250 token mỗi giây mỗi người dùng ở 2,5M TPM thông lượng mỗi GPU, tương tác nhanh hơn 67% so với đường speculative tích hợp sẵn của mô hình ở cùng thông lượng.
Vì sao đáng chú ý: Endpoint ngày đầu tiên của Modal cho Inkling 975B tham số của Thinking Machines cho thấy cách một speculator DFlash tùy chỉnh nâng tương tác lên 67% so với đường speculative tích hợp sẵn của mô hình.