PhantaField ước tính suy luận AI trên quỹ đạo ở mức 0,42 USD mỗi triệu token
Bắt đầu từ đây
PhantaField công bố mô hình chi phí ước tính rằng một trung tâm dữ liệu không gian được xây dựng theo thiết kế bay của White Matter với 40 chip Sophon có thể cung cấp token đầu ra ở mức 0,42 USD mỗi triệu, so với 0,84 USD mỗi triệu khi thuê GPU H100 trên mặt đất. Tàu vũ trụ nặng 1.124 kg sẽ mang trọng số Llama 3.3 70B FP8 trong 330 GB bộ nhớ cục bộ của mỗi chip, với sản lượng đầu ra dự kiến 16.500 token mỗi giây mỗi chip, gấp khoảng mười sáu lần so với tàu vũ trụ GPU. Ước tính giả định xây dựng lặp lại và năm năm phục vụ, và loại trừ phát triển ban đầu và biên lợi nhuận thương mại. Nó cũng giả định 60% nhiệm vụ được dành để tạo đầu ra hữu ích, mang lại 62,44 nghìn tỷ token được chấp nhận; ở mức sử dụng 30%, PhantaField cho biết chi phí sẽ tăng lên 0,84 USD mỗi triệu, gần tương đương với thuê trên mặt đất. Mô hình giữ lại che chắn cục bộ và khoản dự phòng phục hồi cho đến khi các thử nghiệm chùm tia xác định tần suất phần cứng bay cần thử lại.
Tạo từ các bài viết · cập nhật 19 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIPhantaField dự phóng 0,42 USD/triệu token đầu ra cho suy luận quỹ đạo với White Matter và Sophon
PhantaField ước tính một trung tâm dữ liệu vũ trụ được xây dựng trên thiết kế bay của White Matter và 40 die Sophon có thể cung cấp token đầu ra với giá 0,42 USD mỗi triệu token, so với 0,84 USD mỗi triệu token khi thuê H100 trên mặt đất. Tàu vũ trụ nặng 1.124 kg mang trọng số FP8 của mô hình 70B trong 330 GB bộ nhớ cục bộ của mỗi chip và được dự phóng đạt 16.500 token đầu ra mỗi giây trên mỗi chip, gấp khoảng mười sáu lần sản lượng của tàu vũ trụ GPU. Điểm hòa vốn là khoảng 4.950 token đầu ra được chấp nhận mỗi giây trên mỗi Sophon, tính trung bình trong toàn bộ nhiệm vụ.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 09:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.