Tới nội dung
Hacker News · AI·· 2 giờ trướcĐiểm AI58

RightNow AI ra mắt dịch vụ suy luận tối ưu hóa nhân GPU cho các mô hình mở

Show HN: Own your AI at full speed

Tóm tắt bằng AI

RightNow AI đã ra mắt dịch vụ suy luận chạy các mô hình mở với các thiết lập giải mã, độ chính xác và engine được tinh chỉnh theo từng mô hình và phần cứng, đồng thời công bố giá trên mỗi triệu token cùng tốc độ đo được. Bảng giá của dịch vụ liệt kê DeepSeek V4.1 Flash ở mức 0,15 USD đầu vào và 0,60 USD đầu ra trên mỗi triệu token với tốc độ 327 token mỗi giây, và Nemotron 3.5 Lightning 30B ở mức 0,05 USD đầu vào và 0,15 USD đầu ra với tốc độ 540 token mỗi giây. Bộ nhớ đệm prompt là tự động và theo nỗ lực tối đa, không cần header hay tham số, API chấp nhận các yêu cầu Chat Completions và Messages, và tài khoản mới được tặng 1 USD miễn phí.

Nguồn:Hacker News · AI · rightnowai.co