Hacker News · AI·· 19 giờ trướcĐiểm AI28
PhantaField dự phóng 0,42 USD/triệu token đầu ra cho suy luận quỹ đạo với White Matter và Sophon
PhantaField Projects $0.42/M Output Tokens in Orbit with White Matter and Sophon
Tóm tắt bằng AI
PhantaField ước tính một trung tâm dữ liệu vũ trụ được xây dựng trên thiết kế bay của White Matter và 40 die Sophon có thể cung cấp token đầu ra với giá 0,42 USD mỗi triệu token, so với 0,84 USD mỗi triệu token khi thuê H100 trên mặt đất. Tàu vũ trụ nặng 1.124 kg mang trọng số FP8 của mô hình 70B trong 330 GB bộ nhớ cục bộ của mỗi chip và được dự phóng đạt 16.500 token đầu ra mỗi giây trên mỗi chip, gấp khoảng mười sáu lần sản lượng của tàu vũ trụ GPU. Điểm hòa vốn là khoảng 4.950 token đầu ra được chấp nhận mỗi giây trên mỗi Sophon, tính trung bình trong toàn bộ nhiệm vụ.
Nguồn:Hacker News · AI · phantafield.com