Tới nội dung
Chỉ Chính chủ#Đa phương thức
13 tháng 8Thứ Năm
  1. MiniMax Blog71

    MiniMax phát hành Music 3.0, mô hình tạo nhạc trọng số mở cho các bài hát đầy đủ dài tới năm phút

    MiniMax giới thiệu Music 3.0, một mô hình tạo nhạc trọng số mở có khả năng sáng tác, phối khí và sản xuất một bài hát hoàn chỉnh dài tới năm phút từ một ý tưởng sáng tạo và phần lời tùy chọn trong một lần tạo. Pipeline kết hợp một Global LLM 8B được khởi tạo từ Qwen3.5-8B với một Local LLM 0.6B, hợp nhất các trạng thái ẩn liên tục của chúng để điều kiện hóa một mô-đun flow-matching 2.4B và một Flow-VAE 123M, đồng thời sử dụng RVQ tám lớp cùng Structured Captions mô tả cảm xúc, nhạc cụ và cách thể hiện giọng hát theo thời gian. MiniMax cho biết điều này mang lại khả năng diễn giải ý định sáng tạo chính xác hơn, phối khí đầy đủ hơn và giọng hát rõ ràng, tự nhiên hơn.

    Vì sao đáng chú ý: Phân tích kiến trúc của MiniMax cho thấy cách một Global LLM 8B kết hợp với một mô hình cục bộ 0.6B và ngăn xếp flow-matching nhắm giải quyết vấn đề mạch lạc của bài hát dài.

31 tháng 7Thứ Sáu
  1. MiniMax Blog82

    MiniMax ra mắt H3, mô hình tạo đa phương thức tổng quát với video âm thanh nổi gốc ở độ phân giải 2K

    MiniMax đã ra mắt H3, một mô hình tạo đa phương thức tổng quát có khả năng hiểu văn bản, hình ảnh, video và âm thanh như một ngữ cảnh thống nhất, đồng thời tạo video với âm thanh nổi gốc dài tối đa 15 giây ở độ phân giải 2K. Công ty cho biết chi phí đầu ra 2K thấp hơn một phần ba so với các mô hình chủ lưu tính theo giây, và dự kiến sẽ mở trọng số mô hình trong những ngày tới, tuân theo các luật và quy định hiện hành. H3 được xây dựng trên Contextual Omni Representation, H3-VAE, H3-Omni Transformer và In-Context Regeneration, và MiniMax cho biết báo cáo kỹ thuật đầy đủ sẽ sớm được công bố.

    Vì sao đáng chú ý: H3 của MiniMax hợp nhất việc tạo văn bản, hình ảnh, video và âm thanh trong một mô hình và tuyên bố mức giá 2K thấp hơn một phần ba so với các mô hình chủ lưu, với trọng số được hứa hẹn sẽ sớm phát hành.

15 tháng 7Thứ Tư
  1. Modal Blog60

    Mô hình đa phương thức Inkling của Thinking Machines hiện đã có trên Modal

    Thinking Machines đã phát hành Inkling, một mô hình đa phương thức đa dụng nhận đầu vào văn bản, hình ảnh và âm thanh và xuất ra văn bản, và Modal cung cấp nó ngay từ ngày đầu tiên dưới dạng Managed Endpoint với giá theo token. Inkling là một transformer hỗn hợp chuyên gia với tổng cộng 975B tham số, 41B hoạt động, cửa sổ ngữ cảnh 1M token và âm thanh cùng thị giác gốc, sử dụng năm lớp attention cửa sổ trượt cho mỗi lớp attention đầy đủ. Trên các khối lượng công việc tác tử với 8x B200, speculator DFlash tùy chỉnh của Modal đạt 250 token mỗi giây mỗi người dùng ở 2,5M TPM thông lượng mỗi GPU, tương tác nhanh hơn 67% so với đường speculative tích hợp sẵn của mô hình ở cùng thông lượng.

    Vì sao đáng chú ý: Endpoint ngày đầu tiên của Modal cho Inkling 975B tham số của Thinking Machines cho thấy cách một speculator DFlash tùy chỉnh nâng tương tác lên 67% so với đường speculative tích hợp sẵn của mô hình.

1 tháng 6Thứ Hai
  1. MiniMax Blog87

    MiniMax M3 ra mắt với ngữ cảnh 1M, lập trình tiên tiến và đa phương thức gốc

    MiniMax đã phát hành M3, một mô hình trọng số mở mà họ nói là mô hình đầu tiên kết hợp hiệu năng lập trình và tác nhân tiên tiến, cửa sổ ngữ cảnh 1 triệu token, và đầu vào hình ảnh và video gốc. M3 sử dụng kiến trúc chú ý thưa MSA mới của MiniMax, mà công ty báo cáo cắt giảm tính toán mỗi token ở ngữ cảnh 1M xuống còn 1/20 so với thế hệ trước và tăng tốc prefill hơn 9 lần và giải mã hơn 15 lần. Nó đạt 59,0% trên SWE-Bench Pro, 66,0% trên Terminal-Bench 2.1 và 74,2% trên MCP Atlas, và có sẵn thông qua MiniMax Code, Token Plan và API, với trọng số và báo cáo kỹ thuật được hứa hẹn trong vòng 10 ngày.

    Vì sao đáng chú ý: MiniMax M3 kết hợp ngữ cảnh 1 triệu token, điểm số lập trình và tác nhân tiên tiến, và đầu vào hình ảnh và video gốc trong một mô hình trọng số mở, với MSA cắt giảm tính toán mỗi token ở ngữ cảnh dài.

4 tháng 5Thứ Hai
  1. Modal Blog36

    Modal tăng hiệu suất suy luận đa phương thức của SGLang hơn 10% nhờ bộ đệm dict Python

    Modal đã phân tích bộ lập lịch của SGLang trên một khối lượng công việc đa phương thức và thay thế việc ghi sổ lặp lại các handle CUDA IPC bằng một bộ đệm dict Python đơn giản, nâng thông lượng 16,2% và giảm TTFT trung bình 13,2% cùng TPOT 17,2% trên Qwen2.5-VL-3B-Instruct chạy trên H100. Bản sửa lỗi đã được hợp nhất trong SGLang v0.5.10.

23 tháng 5, 2025Thứ Sáu
  1. Vapi Blog18

    Narakeet: Biến văn bản thành giọng nói tự nhiên

    Narakeet chuyển đổi kịch bản viết thành giọng thuyết minh sống động như thật, cung cấp hơn 600 giọng nói trên hơn 70 ngôn ngữ và hỗ trợ hơn 140 ngôn ngữ và phương ngữ. Nền tảng này đồng bộ lời thuyết minh với PowerPoint, Google Slides và tệp Markdown, tạo phụ đề và chú thích, đồng thời cung cấp API cho nhà phát triển với xử lý hàng loạt. Các gói bắt đầu từ khoảng 5 đô la mỗi tháng, có gói miễn phí.

24 tháng 9, 2024Thứ Ba
  1. Modal Blog22

    Tìm kiếm kết hợp trên nhúng vệ tinh California với Modal, MongoDB và Clay

    Một ứng dụng demo thực hiện tìm kiếm kết hợp trên toàn bang California bằng dấu thời gian, dữ liệu định vị địa lý và nhúng ảnh vệ tinh từ mô hình nền tảng Clay v1. Modal điều phối các truy vấn API Sentinel hàng ngày, lưu trữ MongoDB Atlas và suy luận nhúng trên GPU A10, với giao diện frontend Alpine JS nhỏ được phục vụ qua FastAPI.