Tới nội dung
Hôm nay13 tháng 11Thứ Sáu1 mục
  1. Hacker News · AI85

    Phân tích pháp y liên kết sáu mô hình tiên phong của Trung Quốc với GPU NVIDIA Blackwell bị kiểm soát xuất khẩu

    Phân tích pháp y của Unemployment Labs trên các trọng số mô hình đã công bố phát hiện rằng sáu mô hình từ DeepSeek, Moonshot AI, MiniMax và Ant Group được khởi tạo trên phần cứng NVIDIA Blackwell, trong khi các mô hình trước đó từ cùng các phòng thí nghiệm khớp với Hopper. Phương pháp này khôi phục hạt giống ngẫu nhiên và bố cục luồng của từng mô hình từ các trọng số được lưu giữ, và tác giả cho biết các kết quả khớp đã được tái tạo trên chip H100, B300 và GB200 vật lý. Báo cáo ước tính mỗi lần chạy huấn luyện cần khoảng 500 đến 3.000 GPU Blackwell trong hai đến ba tháng, và lưu ý rằng bằng chứng không xác định được vị trí của các chip hoặc liệu các biện pháp kiểm soát xuất khẩu có bị vi phạm hay không.

    Vì sao đáng chú ý: Báo cáo chỉ rút ra bằng chứng phần cứng từ các trọng số mô hình đã công bố, cung cấp một phương pháp có thể tái tạo để truy vết GPU nào đã khởi tạo một mô hình mà không dựa vào rò rỉ.

12 tháng 11Thứ Năm
  1. OpenRouter Announcements28

    Cách đánh giá LLM: Hướng dẫn chấm điểm bằng mã từ OpenRouter

    OpenRouter đã công bố hướng dẫn đánh giá LLM trên dữ liệu đầu vào của chính ứng dụng, chấm điểm đầu ra bằng mã và so sánh độ chính xác, chi phí tính phí và thời gian yêu cầu. Trên 60 tác vụ tổng hợp, GPT-6.1 Sol đã vượt qua 180/180 lần thử qua ba lần lặp lại, trong khi DeepSeek có chi phí phản hồi thấp nhất với 157/180 lần vượt qua. Mức độ đồng thuận với bảng xếp hạng công khai là yếu, với hệ số tương quan Spearman là 0.109.

  2. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

10 tháng 11Thứ Ba
  1. Recode China AI38

    Ulanqab, một thành phố xa xôi của Trung Quốc, trở thành thị trấn bùng nổ AI và nam châm thu hút lao động trẻ

    Ulanqab, từng là một thành phố ít được biết đến ở Nội Mông, đã trở thành một trung tâm điện toán AI mới nổi khi các trung tâm dữ liệu lan rộng khắp vùng đồng cỏ, thu hút lao động trẻ từ khắp Trung Quốc. Kuaishou bắt đầu vận hành trung tâm dữ liệu tự xây đầu tiên tại đây vào năm 2023, và DeepSeek đã quảng cáo các vị trí vận hành và bảo trì cấp cao với mức lương lên tới 30.000 nhân dân tệ (4.200 USD) một tháng vào tháng 4 năm nay. Thị trường lao động hiện đang bão hòa, với các nhà tuyển dụng nâng cao tiêu chuẩn tuyển dụng và một số chỉ xem xét ứng viên có bằng cử nhân.

8 tháng 11Chủ Nhật
  1. Recode China AI22

    Apple thử nghiệm Qwen trong Apple Intelligence tại Trung Quốc khi Tencent bổ sung khả năng thị giác cho Hy4

    Apple đã bắt đầu thử nghiệm dành cho nhà phát triển đối với Qwen bên trong Apple Intelligence tại Trung Quốc trong tuần này, trước kế hoạch triển khai vào tháng 12 cùng iOS 27.3, đưa Qwen vào Siri, Writing Tools và Visual Intelligence theo hình thức người dùng tự chọn tham gia. Bản phát hành Hy4 ngày 4 tháng 11 của Tencent bổ sung suy luận thị giác và sử dụng máy tính, trong khi Baidu, Moonshot, Ant và Meituan cũng đã công bố hoặc ra mắt các mô hình mới.