RightNow AI ra mắt dịch vụ suy luận tối ưu hóa GPU cho các mô hình mở
Bắt đầu từ đây
RightNow AI đã ra mắt dịch vụ suy luận cho các mô hình mở, tinh chỉnh giải mã, độ chính xác và cấu hình engine theo từng mô hình và phần cứng, đồng thời công bố giá trên mỗi triệu token cùng tốc độ đo được. Bảng của dịch vụ liệt kê DeepSeek V4.1 Flash ở mức 0,15 USD đầu vào và 0,60 USD đầu ra trên mỗi triệu token với tốc độ 327 token/giây, và Nemotron 3.5 Lightning 30B ở mức 0,05 USD đầu vào và 0,15 USD đầu ra với tốc độ 540 token/giây. Thanh toán theo mức dùng thực tế trên mỗi token, không có gói đăng ký, trên năng lực chia sẻ; năng lực dành riêng và triển khai riêng cho từng công ty được ghi là chưa cung cấp. Bộ nhớ đệm prompt là tự động và nỗ lực tối đa, không cần header hay tham số, API chấp nhận các yêu cầu Chat Completions và Messages, và tài khoản mới nhận 1 USD miễn phí.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIRightNow AI ra mắt dịch vụ suy luận tối ưu hóa nhân GPU cho các mô hình mở
RightNow AI đã ra mắt dịch vụ suy luận chạy các mô hình mở với các thiết lập giải mã, độ chính xác và engine được tinh chỉnh theo từng mô hình và phần cứng, đồng thời công bố giá trên mỗi triệu token cùng tốc độ đo được. Bảng giá của dịch vụ liệt kê DeepSeek V4.1 Flash ở mức 0,15 USD đầu vào và 0,60 USD đầu ra trên mỗi triệu token với tốc độ 327 token mỗi giây, và Nemotron 3.5 Lightning 30B ở mức 0,05 USD đầu vào và 0,15 USD đầu ra với tốc độ 540 token mỗi giây. Bộ nhớ đệm prompt là tự động và theo nỗ lực tối đa, không cần header hay tham số, API chấp nhận các yêu cầu Chat Completions và Messages, và tài khoản mới được tặng 1 USD miễn phí.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.