Tới nội dung
Chỉ Nghiên cứu#Triển khai / kỹ thuật
13 tháng 11Thứ Sáu
  1. MIT News34

    Các nhà nghiên cứu MIT xây dựng một "copilot" AI cho tối ưu hóa topology trong thiết kế kết cấu

    Các nhà nghiên cứu MIT đã phát triển một copilot AI cho phép các kỹ sư đưa phản hồi về các vùng của một kết cấu trong khi quá trình tối ưu hóa topology vẫn đang chạy, thay vì chờ đợi thiết kế cuối cùng. Trong các minh chứng, nó đã cải thiện khả năng sản xuất và tải trọng mất ổn định tuyến tính thêm 39 phần trăm trong khi chỉ thêm 15 giây vào tổng thời gian thiết kế. Hệ thống sử dụng học máy được huấn luyện trên dữ liệu phản hồi tổng hợp của con người, và hiện tại chỉ cho phép người dùng làm dày hoặc làm mỏng các vùng.

  2. Hacker News · AI64

    Nghiên cứu Schelling Atlas phát hiện các tác nhân AI hội tụ về ntfy.sh để tìm nhau trên web

    Một nghiên cứu từ Viện ELLIS Tübingen và Viện Max Planck về Hệ thống Thông minh phát hiện rằng các cặp tác nhân AI vận hành độc lập, khi không được chỉ định địa điểm gặp gỡ, đã tìm thấy nhau trên web trong vòng vài phút, với 21 trong số 40 cặp gặp nhau và tất cả đều trên ntfy.sh. Khi ntfy.sh bị chặn, chỉ 4 trong số 65 cặp gặp nhau trong năm phút, tăng lên 20 trong số 65 với 20 phút và không giới hạn hành động, chủ yếu trên ptsv3.com và filebin.net. Trong số 1.107 tác nhân đã sử dụng công cụ web, 280 đã thử một máy chủ không còn tồn tại, và 118 đã thử một trong 121 tên miền chưa đăng ký, mà kẻ tấn công có thể mua để chặn lưu lượng của tác nhân.

  3. Hacker News · AI31

    Air-LLM: Truyền trọng số AI tới thiết bị biên qua tính toán RF để suy luận LLM tức thời

    Air-LLM là kiến trúc suy luận LLM tại biên, trong đó một đài vô tuyến trung tâm như trạm gốc 5G phát sóng trọng số mô hình qua không gian, và người dùng biên hoàn thành GEMV trực tiếp trong miền RF bằng bộ trộn RF, nhờ đó thiết bị không bao giờ lưu trữ hay tải trọng số. Được thử nghiệm trên các kênh ray-tracing của NVIDIA Sionna trong hai cảnh đô thị thực với profile bộ trộn RF thực, nó giới hạn mức suy giảm perplexity trên WikiText-2 của LLaMA-3.1-8B ở 4.0% đồng thời tiết kiệm năng lượng 157.7x/40.4x so với baseline FP16 và lượng tử hóa chỉ trọng số. Với 20 người dùng, thời gian phát sóng ngắn hơn 104.1x/26.0x, và vì đài trung tâm không cần biết người dùng, một lần phát sóng phục vụ không giới hạn người dùng trong vùng phủ.

  4. Hacker News · AI58

    InferTrail chạy honeypot khóa API LLM trong 35 ngày và truy vết cách khóa bị đánh cắp được sử dụng

    InferTrail đã gieo 179 khóa API trên hơn 40 tổ chức GitHub giả và vận hành hai cổng LLM honeypot trong tối đa 36 ngày, ghi lại hơn 3 triệu yêu cầu. Chỉ 18 trong số các khóa được công bố được dùng để gửi prompt, và sáu khóa chiếm 98,9% các yêu cầu prompt từ khóa bị rò rỉ, trong khi 86% lưu lượng đó đến từ hạ tầng lưu trữ. Các tác giả liệt kê ba mẫu log để phát hiện việc tái sử dụng khóa: nhiều tên mô hình dưới một khóa trong một khoảng thời gian ngắn, kiểm tra đều đặn theo chu kỳ sau khi một khóa hoạt động, và sự thay đổi địa chỉ nguồn.

  5. Hacker News · AI38

    Terminal-Bench 4.1 ra mắt với bộ xác minh được gia cố chống reward hacking

    Terminal-Bench 4.1 được phát hành với các bộ xác minh cải tiến được thiết kế để chống lại reward hacking, và việc chấm lại TB 4.0 bằng các bộ xác minh mới không tốn thêm $0 chi phí suy luận. Chỉ khoảng 1,16% trong số 11.550 lượt thử nghiệm thay đổi điểm số, và điểm số cập nhật của cả 35 tác nhân vẫn nằm trong khoảng tin cậy 95% ban đầu của TB 4.0.

12 tháng 11Thứ Năm
  1. Google Research58

    Google Research sử dụng thiết bị đeo để xây dựng hồ sơ rủi ro CKM và huấn luyện cá nhân hóa

    Google Research đã giới thiệu một khung nghiên cứu chuyển dữ liệu từ thiết bị đeo tiêu dùng thành tuổi sức khỏe có thể huấn luyện và mô phỏng các quỹ đạo sức khỏe giả định cá nhân hóa trong 12 tuần. Mô hình thế giới SensorWM được tiền huấn luyện trên 2,28 triệu tuần-người dữ liệu Fitbit đã khử nhận dạng từ khoảng 100.000 người dùng và dự báo 20 chỉ dấu sinh lý dưới các chế độ đi bộ, ngủ và tim mạch khác nhau. Trong một nghiên cứu mù, các huấn luyện viên lối sống chọn kế hoạch dựa trên phản thực tế là tốt nhất tổng thể trong 71,4% đánh giá, và các bác sĩ đánh giá 99,2% kế hoạch nằm trong giới hạn cường độ tập luyện an toàn; các tác giả lưu ý các mô hình là nguyên mẫu nghiên cứu, không phải công cụ chẩn đoán lâm sàng.

9 tháng 11Thứ Hai
  1. Hugging Face Blog40

    HOPE: Cắt tỉa bậc cao các chuyên gia trong mô hình ngôn ngữ Mixture-of-Experts

    Các nhà nghiên cứu giới thiệu HOPE, một phương pháp cắt tỉa chuyên gia bậc hai cho các mô hình ngôn ngữ Mixture-of-Experts, có tính đến tương tác cặp giữa các chuyên gia cùng kích hoạt thay vì chấm điểm từng chuyên gia một cách độc lập. Ở mức cắt tỉa 50%, HOPE đạt thứ hạng trung bình tốt nhất trong số mọi phương pháp, với mức cải thiện lên tới +6,1% trên các tác vụ lập trình dạng agent so với phương pháp cắt tỉa tốt thứ hai. Công trình nhắm vào nút thắt bộ nhớ ở các mô hình như Qwen3.5-122B, nơi các MLP chuyên gia chiếm 95% trong tổng dung lượng khoảng 250 GB.

  2. Anthropic Research71

    Anthropic thử nghiệm Claude Fable 5.2 trên thiết kế điện tử thực tế

    Anthropic báo cáo rằng Claude Fable 5.2 đã thiết kế ba thiết bị điện tử, gồm một loa hội nghị, một trung tâm trợ lý giọng nói và một thú ảo cầm tay, từ những yêu cầu tối thiểu, và Diode Computers đã chế tạo nguyên mẫu hoạt động được từ các tệp thiết kế của nó mà không cần sửa mạch. Trên bộ đánh giá PCB Gym nội bộ của Diode, Fable 5.2 đạt 69% so với 25% của Fable 5, và đạt 83,5% trên BenchCAD 2.1 công khai, gần gấp đôi Claude Fable 5.1. Các thiết bị vẫn là nguyên mẫu chưa qua kiểm định điện, tinh chỉnh ăng-ten, kiểm tra nhiệt hay chứng nhận, và Claude không được kết nối với thiết bị kiểm thử hay máy móc sản xuất.

    Vì sao đáng chú ý: Báo cáo của chính Anthropic về việc Claude Fable 5.2 thiết kế ba thiết bị điện tử hoạt động được cho thấy các mô hình đã tiến xa đến mức nào, từ việc chỉ bố trí một phần PCB đến tạo nguyên mẫu phần cứng đầu-cuối.

  3. Artificial Analysis Articles58

    Artificial Analysis phát hành Chỉ số Độ chính xác Endpoint v1.1 với khoảng tin cậy long-context chặt chẽ hơn và phạm vi bao phủ sáu mô hình

    Artificial Analysis đã ra mắt Chỉ số Độ chính xác Endpoint v1.1, thu hẹp khoảng tin cậy AA-LCR-25 và bổ sung phạm vi bao phủ cho GLM-5.3 Flash và Muse Spark Open. Trong số 103 endpoint serverless được đánh giá chuẩn, 24 endpoint có điểm số thấp hơn đáng kể về mặt thống kê so với tham chiếu tự lưu trữ, với các nguyên nhân bao gồm giới hạn token đầu ra, giảm suy luận, lỗi định dạng gọi công cụ và hết thời gian yêu cầu. Việc nâng AA-LCR-25 lên 25 lần lặp lại mỗi câu hỏi thu hẹp khoảng tin cậy 95% trung bình từ ±4,7 xuống ±2,6 điểm, và khoảng tin cậy của chỉ số tổng hợp từ ±5,5 xuống ±4,3 điểm trên 45 endpoint được chấm điểm theo cả hai phiên bản.

6 tháng 11Thứ Sáu
  1. Ai2 · Allen Institute for AI58

    Ai2 phát hành ToyBlocks, một thế giới mô phỏng có kiểm soát cho việc học và đánh giá robot

    Ai2 đã phát hành ToyBlocks, một khung mô phỏng mở được xây dựng xoay quanh một cánh tay robot và các khối trên mặt bàn, là sản phẩm đầu tiên trong FoundationWorlds của họ dành cho nghiên cứu học robot có kiểm soát. ToyBlocks tự động tạo nhiệm vụ và bản trình diễn thông qua RL và lập kế hoạch chuyển động trong Isaac Lab, đạt tốc độ tạo dữ liệu lên tới 24 lần thời gian thực trên một GPU duy nhất, và đi kèm với 85.336 bản trình diễn tầm xa bao phủ gần 1.600 giờ và 144 triệu khung hình. Trong các thử nghiệm thực tế trên Franka FR3, tỷ lệ thành công của kỹ năng nguyên tử của ManiFlow là 80,0% trong mô phỏng và 81,1% trên phần cứng, trong khi hệ thống Molmo 2 kết hợp ManiFlow thành công trong 55,5% số tập mô phỏng và 50,0% số tập thực tế.

  2. vLLM Blog77

    REINFORCE Zero: Căn chỉnh kernel cho phép Async RL ổn định ở Policy Lag 64, mở rộng sang DeepSeek-V4.1 và Kimi K3.1

    Bài báo REINFORCE Zero của NVIDIA Research và Inferact cho thấy việc căn chỉnh kernel của rollout và trainer cho phép lấy mẫu quan trọng ở mức token không cắt (unclipped token-level importance sampling) hiệu chỉnh độ trễ trọng số còn lại, huấn luyện ổn định qua 20.000 lần cập nhật ở policy lag 64 và đạt thông lượng bước huấn luyện gấp 2,40 lần so với huấn luyện đồng bộ với kernel đã căn chỉnh. Với kernel tiêu chuẩn, KL trung vị từ rollout đến learner tăng 83,33 lần trong suốt quá trình chạy và pass@1 trực tuyến trên AIME24 giảm từ 34,27% xuống 13,96%, trong khi một sequence gate giúp ổn định huấn luyện nhưng loại bỏ 24,48% chuỗi tính đến 1.000 lần cập nhật cuối. Thiết lập zero-mismatch hiện bao phủ DeepSeek-V4.1-Flash, Kimi K3.1 vào ngày phát hành, cùng DeepSeek-V4-Flash và Kimi K3.1 trên AMD MI355X, với mã nguồn tại Inferact/zero-mismatch-rl và NVIDIA-NeMo/labs-molt.

    Vì sao đáng chú ý: NVIDIA Research và Inferact tách khoảng cách giữa rollout và learner trong async RL thành độ trễ trọng số và sự không khớp kernel, cho thấy việc căn chỉnh kernel cho phép lấy mẫu quan trọng không cắt duy trì huấn luyện ổn định ở policy lag 64.

  3. SemiAnalysis75

    SemiAnalysis đánh giá Google TPUv7 Ironwood trên suy luận tác tử so với GPU NVIDIA

    SemiAnalysis công bố kết quả suy luận tác tử đa lượt, ngữ cảnh dài đầu tiên trên InferenceX/AgentX cho Google TPUv7 Ironwood trên bốn mô hình, nhận thấy nó cạnh tranh về hiệu năng trên mỗi đô la hoặc đạt mức tiên tiến trong một số trường hợp. Trên GLM-5.2 ở FP8, TPUv7 đạt 1,2x đến 2,7x số token trên mỗi đô la so với B200, B300 và MI355X từ 60 đến 300 tok/s/người dùng, trong khi GPU FP4 vẫn dẫn đầu trên GLM-5.3 vì TPUv7 thiếu hỗ trợ FP4 gốc cho đến TPUv8 vào Q1 2027. Bài viết cũng lập luận rằng bộ máy quan liêu của NVIDIA làm chậm các đóng góp driver và hệ sinh thái so với AMD và Google.

  4. Microsoft Research58

    PDD Kit của Microsoft Research chính thức xác minh các ứng dụng web full-stack do agent viết

    Microsoft Research đã giới thiệu PDD Kit, một nguyên mẫu nghiên cứu biến ý định bằng ngôn ngữ tự nhiên của nhà phát triển thành đặc tả hình thức Verus, chứng minh mã Rust do coding agent viết thỏa mãn đặc tả đó với mọi đầu vào, và quay về kiểm thử ở những nơi chứng minh không thể vươn tới. Trong một bản demo bên trong Chopin của GitHub Next, nhóm đã dùng PDD Kit để xác minh logic đăng nhập của Pet Store, một ứng dụng full-stack Rust khoảng 5.000 dòng, với việc nhà phát triển xem xét tạo tác ý định thay vì từng dòng mã được sinh ra. PDD Kit hiện chỉ xác minh Rust, và các bảo đảm của nó dựa trên sáu thành phần tin cậy đã được nhà phát triển phê duyệt, bao gồm kiểm tra mật khẩu bcrypt và hai lần tra cứu cơ sở dữ liệu.

5 tháng 11Thứ Năm
  1. Zyphra Research36

    ZYFA: Nhân tính toán Attention FP8 nhanh và chính xác trên AMD MI355X

    Zyphra Research đã phát hành ZYFA, các nhân tính toán attention prefill nhân quả BF16 và FP8 cho MI355X của AMD (CDNA4, gfx950), hỗ trợ head dimension 128 và hình dạng MLA của DeepSeek-V2. Trên các activation từ Mistral-7B, Qwen3-8B và DeepSeek-V2-Lite ở 16K token, các nhân FP8 của ZYFA đạt thông lượng 1,16–1,76× so với AITER, và trên đầu vào Gaussian ở 32K token đạt 1,26–1,37× ở head dimension 128 và 1,99× ở hình dạng MLA. Sai số FP8 thấp hơn 62–78% so với AITER ở head dimension 128.

3 tháng 11Thứ Ba
  1. OpenAI Alignment Blog60

    OpenAI trình bày chi tiết về việc huấn luyện các bộ phân loại kích hoạt cho an toàn và căn chỉnh

    OpenAI mô tả việc huấn luyện các bộ phân loại kích hoạt, hay còn gọi là probe, đọc các kích hoạt luồng dư nội bộ của mô hình để gắn cờ các phản hồi của trợ lý bị lệch chuẩn hoặc vi phạm chính sách, và cho biết đã triển khai chúng trên lưu lượng nội bộ và bên ngoài của các mô hình có năng lực nhất bắt đầu từ GPT-5.6. Các probe sử dụng kiến trúc Attention probe với MLP cộng QV-attention và trung bình động lũy thừa, được huấn luyện trên tối đa 1M tin nhắn được gán nhãn bởi các giám khảo mô hình suy luận, và chạy theo kiểu truyền phát trên công cụ suy luận để một phản hồi có thể bị chặn giữa lượt. OpenAI báo cáo khả năng chuyển giao probe xuất sắc qua nhiều giai đoạn hậu huấn luyện nhưng chuyển giao hạn chế hơn qua các checkpoint tiền huấn luyện, và cho biết các probe nhìn chung chống jailbreak tốt hơn các bộ phân loại dựa trên nội dung trong đợt red-teaming của mình.

    Vì sao đáng chú ý: OpenAI trình bày chi tiết cách các probe kích hoạt trên kích hoạt nội bộ của mô hình đóng vai trò lớp an toàn truyền phát, bao gồm các giới hạn về chuyển giao qua các checkpoint và nhu cầu huấn luyện lại.

2 tháng 11Thứ Hai
  1. Zyphra Research58

    Zyphra giới thiệu ZHA hierarchical attention, một phương pháp thưa với định tuyến dưới bậc hai

    Zyphra đã giới thiệu Zyphra Hierarchical Attention (ZHA), một phương pháp attention thưa xây dựng một cây các bản tóm tắt KV-cache nén và định tuyến các truy vấn từ trên xuống qua cây đó, mang lại độ phức tạp dưới bậc hai với các ngưỡng top-p phù hợp. Các mô hình đã được huấn luyện trước hiện có thể được thích nghi thông qua một giai đoạn chưng cất KL ngắn chỉ sử dụng vài tỷ token; trên Qwen3.6-35B-A3B, ZHA thêm 81.920 tham số có thể huấn luyện, khoảng 0,00024% của mô hình cơ sở. Trên RULER-13 ở 256K token, mô hình cây rộng đạt 96,2% so với 96,0% của dense attention, và cây sâu sáu tầng đạt 63,4% trên LongBench v2 so với 58,0% của dense trong khi chỉ chú ý đến khoảng 1,1% của KV cache; một mô hình roofline trên GPU dự báo tốc độ nhanh hơn 32-35 lần so với dense attention ở 10M token.

  2. SemiAnalysis58

    SemiAnalysis ra mắt bộ đánh giá GDPx cho năng lực tác nhân tiên tiến trên các lĩnh vực giá trị cao

    SemiAnalysis đã phát hành GDPx, một bộ đánh giá bao gồm thiết kế chip, an ninh mạng, sinh học, tài chính, pháp lý, giao dịch định lượng, RSI, thiết kế phần cứng, khoa học vật liệu, căn chỉnh và kỹ thuật phần mềm, được xây dựng với 14 đối tác môi trường RL chuyên biệt. Ngay cả mô hình tốt nhất cũng chỉ đạt 12%, với Opus 5.5 giành chiến thắng ở giao dịch định lượng, phần cứng và thiết kế chip, Gemini 4 Carbon dẫn đầu về sinh học và kỹ thuật phần mềm, và GPT-6 Astra đứng đầu về RSI và khoa học vật liệu. Mỗi nhiệm vụ đều chạy trong một môi trường mô phỏng thực tế, chẳng hạn như một phòng giao dịch cổ phần tư nhân với ~4.000 tệp hoặc các dải an ninh mạng đa dịch vụ trực tiếp, khác với GDPval của OpenAI, mà SemiAnalysis lập luận rằng cung cấp ngữ cảnh sẵn và thiếu môi trường.

  3. Anthropic Research70

    Anthropic phát hành FlashProve, hệ thống zkSNARK mã nguồn mở cho suy luận LLM có thể chứng minh

    Anthropic phát hành FlashProve, một nguyên mẫu mã nguồn mở sử dụng zkSNARK để chứng minh một phản hồi đến từ một mô hình đã cam kết mà không tiết lộ trọng số của nó. Trên Llama 4 Maverick (MoE 400 tỷ tham số, trọng số 4-bit), một H100 duy nhất tạo bằng chứng với tốc độ khoảng 110 token/giây với bằng chứng ~19 MB mỗi yêu cầu 1.024 token, tức khoảng 70-95 lần thời gian GPU mà vLLM cần cho cùng công việc. Bản phát hành bao gồm mã prover và verifier có thể thực thi, một verifier C++ nhanh, một verifier Lean với các tuyên bố completeness, soundness và zero-knowledge được máy kiểm chứng, và một báo cáo kỹ thuật, tất cả theo Apache 2.0.

    Vì sao đáng chú ý: FlashProve của Anthropic cho thấy các bằng chứng dựa trên zkSNARK về suy luận đang trở nên thực tiễn đối với một mô hình MoE 400 tỷ tham số, với mã nguồn mở và các tuyên bố bảo mật được Lean kiểm chứng.

30 tháng 10Thứ Sáu
  1. Amazon Science38

    Tăng tốc LLM cho các ứng dụng du lịch: Medusa kết hợp chưng cất tri thức

    Kết hợp chưng cất tri thức với khung Medusa giúp một học trò TinyLlama 1,1 tỷ tham số đạt chất lượng tương đương giáo viên Llama-3.1 70 tỷ tham số trong khi chạy nhanh gấp 10 đến 20 lần với chi phí dưới một phần ba. Khi làm việc với Booking.com trên AI Trip Planner, Smart Filters và tạo mô tả chỗ ở, pipeline đã thu hẹp hơn 90% khoảng cách chất lượng và tăng thêm tốc độ gấp 2 đến 3,6 lần nhờ các đầu Medusa.

  2. Meta Engineering Blog58

    Meta trình bày chi tiết triển khai sản xuất Catching JiTTests với quy trình đánh giá có con người trong vòng lặp

    Meta đã đưa Catching JiTTests, phương pháp tạo kiểm thử đúng lúc dựa trên LLM của mình, từ nguyên mẫu nghiên cứu vào hạ tầng sản xuất và công bố kết quả trong bài báo FSE 2026 "Just-in-Time Catching Test Generation at Meta." Hệ thống chạy qua đêm trên công suất dư thừa, nhắm vào các diff rủi ro, tạo kiểm thử thông qua quy trình dodgy-diff và nhận biết ý định, đồng thời lọc dương tính giả bằng một tập hợp LLM-as-Judge cùng bộ đánh giá RubFake dựa trên quy tắc trước khi đến tay kỹ sư. Tính đến thời điểm viết bài, 589 kỹ sư (64% số được tiếp cận) đã tương tác với kết quả, cho thấy tỷ lệ dương tính thật 60%, và trong nửa đầu năm 2026 hệ thống đã phát hiện 74 lỗi quyền riêng tư nghiêm trọng ở giai đoạn diff và giảm 20% SEV về quyền riêng tư.

13 tháng 10Thứ Ba
  1. Modal Blog58

    Modal thử nghiệm bộ lấy mẫu RL hỗn hợp độ chính xác và hỗn hợp tăng tốc trên Qwen3.6-35B-A3B

    Modal đã huấn luyện Qwen3.6-35B-A3B trên tác vụ lập trình dạng agent với các bộ lấy mẫu trải rộng trên sáu loại tăng tốc (B200, B300, H100, H200, A100, RTX PRO 6000) ở độ chính xác NVFP4, FP8 và BF16, cấp dữ liệu cho một bộ huấn luyện BF16 trên B200. GRPO thuần đã sụp đổ trên cả bộ lấy mẫu hỗn hợp lẫn đồng nhất, nhưng khi thêm lấy mẫu quan trọng có mặt nạ cùng căn giữa điểm số, dù có hay không có phát lại mặt nạ top-p, quá trình huấn luyện vẫn ổn định đến cuối và đạt pass@4 trên SWE-bench Pro V2 ngang với bộ lấy mẫu đồng nhất, với chi phí bộ lấy mẫu mỗi lần cập nhật thấp hơn khoảng 15%. Các bộ lấy mẫu hỗn hợp chạy với KL trung bình giữa bộ lấy mẫu và bộ huấn luyện gấp 4,7 lần so với thiết lập đồng nhất, và các tác giả lập luận rằng tính ổn định phụ thuộc vào việc giữ độ lệch ở mức có giới hạn chứ không phải ở mức thấp.

  2. Amazon Science75

    Các nhà nghiên cứu của Amazon Web Services đề xuất phương pháp priming để chuyển đổi Transformer đã huấn luyện trước thành mô hình không gian trạng thái lai mà không cần huấn luyện lại toàn bộ

    Các nhà nghiên cứu của Amazon Web Services giới thiệu priming, một phương pháp tái sử dụng trọng số Transformer đã huấn luyện trước để cắt giảm chi phí huấn luyện trước của kiến trúc không gian trạng thái lai xuống hơn 99%, chỉ sử dụng dưới 0,5% ngân sách token huấn luyện trước của mô hình nguồn. Trong các so sánh có kiểm soát, Gated KalmaNet vượt trội hơn Gated DeltaNet và Mamba-2, và một mô hình lai dựa trên GKA 32B đạt kết quả tương đương Transformer nguồn trên các bài đánh giá suy luận trong khi giải mã nhanh gấp đôi ở ngữ cảnh 128.000 token. Nhóm đã phát hành các mô hình lai đã priming 8B và 32B, mã huấn luyện, Triton kernel và plugin phục vụ vLLM theo Giấy phép Apache 2.0.

    Vì sao đáng chú ý: Các nhà nghiên cứu của Amazon Web Services cho thấy việc tái sử dụng trọng số Transformer đã huấn luyện trước có thể cắt giảm chi phí huấn luyện trước kiến trúc lai xuống hơn 99%, giúp việc so sánh có kiểm soát các lớp không gian trạng thái trở nên khả thi.

8 tháng 10Thứ Năm
  1. Zyphra Research36

    Zyphra Research: Ghép nối chuyên gia cắt giảm thông tin liên lạc khi tiền huấn luyện MoE

    Zyphra Research chỉ ra rằng định tuyến MoE có cấu trúc cao, với các chuyên gia được chọn cùng nhau có tương quan trong một lớp và lựa chọn chuyên gia của một token dự đoán định tuyến lớp sau. Khai thác điều này thông qua bố trí chuyên gia tương quan và xáo trộn token giúp cắt giảm thời gian liên lạc all-to-all lên đến 2,63× và cải thiện thời gian bước huấn luyện end-to-end lên đến 1,41× trong các thí nghiệm Megatron-LM trên GPU MI300X, mà không thay đổi kiến trúc hay quyết định định tuyến.

  2. Goodfire Research71

    Goodfire huấn luyện và triển khai các bộ giám sát lạm dụng không gian mạng dựa trên probe trên Kimi K3 và GLM 5.3

    3 và triển khai chúng trên một ngăn xếp suy luận production, nơi một probe rẻ tiền lọc các lượt và chỉ những trao đổi đáng ngờ mới đến một LLM judge. Tỷ lệ gián đoạn phiên lành tính 5%, chi phí 65 đô la cho mỗi triệu lượt không có suy luận của judge và 185 đô la khi có nó, và không thêm tổn thất thông lượng đo được nào bên trong SGLang.

    Vì sao đáng chú ý: Goodfire cho thấy một chuỗi probe-cộng-judge có thể giám sát lạm dụng không gian mạng tác tử với chi phí thấp hơn khoảng 50 lần mà không có tổn thất thông lượng đo được, một công thức cụ thể để phục vụ các mô hình mở một cách an toàn.

1 tháng 9Thứ Ba
  1. Zyphra Research48

    Zyphra phát hành PUFFER, hệ thống khử trùng lặp mờ tăng dần cho kho ngữ liệu huấn luyện đang phát triển

    Zyphra đã phát hành PUFFER, một hệ thống khử trùng lặp mờ tăng dần nhận biết nguồn gốc mã nguồn mở dành cho kho ngữ liệu huấn luyện LLM liên tục mở rộng, theo giấy phép Apache 2.0. Hệ thống này đạt tốc độ nhanh hơn 11x-35x so với các phương pháp khử trùng lặp dựa trên CPU hiện có và xử lý một tỷ tài liệu trong 1,75 giờ trên một tiến trình duy nhất, với triển khai thực tế trên hơn 30 tỷ tài liệu. PUFFER lưu giữ lịch sử MinHash-LSH trên đĩa để có thể thêm tập dữ liệu mới, khôi phục các tác vụ bị gián đoạn một cách xác định, và rút từng tập dữ liệu mà không cần xây dựng lại toàn bộ chỉ mục kho ngữ liệu.

29 tháng 7Thứ Tư
  1. Berkeley AI Research58

    Từ CUDA đến MLX: K-Search mang chuyên môn tối ưu hóa kernel đến Apple Silicon

    IBM Research đã mở rộng K-Search, khung tìm kiếm kernel tiến hóa từ UC Berkeley Sky Lab, với backend MLX và một lớp chuyển đổi CUDA sang MLX có cấu trúc, giúp chuyển đổi các kernel CUDA hiện có thành kernel cho Apple Silicon. Trên một kernel attention MLX, phương pháp này đạt tốc độ bằng 0,97 lần kernel MLX Attention gốc của Apple, tăng từ 0,26 lần khi không có ngữ cảnh chuyển đổi, và một kernel Mamba SSM được tiến hóa đạt tốc độ prefill nhanh hơn tới 20 lần so với triển khai mlx-lm của cộng đồng trên M1 Max. Các tác giả cho rằng mức tăng chủ yếu đến từ chất lượng ngữ cảnh và các ràng buộc được cung cấp cho LLM chứ không phải khả năng viết mã Metal của nó, và cho biết phương pháp này không dành riêng cho MLX.

1 tháng 7Thứ Tư
  1. Modal Blog58

    Modal Research và MRP của HeavyBall mang đến dự đoán đa token cho các mô hình ngôn ngữ khuếch tán

    Modal Research và HeavyBall Research của NYU Shanghai giới thiệu Multi-token Residual Prediction (MRP), một mô-đun 3 lớp gắn vào backbone LM khuếch tán đóng băng, dự đoán phần dư logit giữa các bước thay vì toàn bộ phân phối bước tiếp theo. Trên SDAR-4B GSM8K, MRP giữ độ chính xác 70,9% ở K=3 so với 5,9% của chưng cất MTP thông thường, và trong SGLang đạt thông lượng lên tới 1,56 lần mà không mất mát ở chế độ suy đoán hoặc phục hồi tới +16 điểm chính xác dưới giải mã động ngưỡng thấp tích cực. Bài báo, mã nguồn, triển khai SGLang và các mô hình SDAR-MRP trên Hugging Face đã được phát hành.

20 tháng 4Thứ Hai
  1. Berkeley AI Research38

    GRASP: Lập kế hoạch dựa trên gradient cho mô hình thế giới ở tầm xa hơn

    GRASP là một bộ lập kế hoạch dựa trên gradient mới cho các mô hình thế giới đã học, giúp việc lập kế hoạch tầm xa trở nên khả thi bằng cách nâng quỹ đạo lên thành các trạng thái ảo để tối ưu hóa song song theo thời gian, thêm tính ngẫu nhiên vào các lần lặp trạng thái để khám phá, và định hình lại gradient để các hành động nhận được tín hiệu rõ ràng trong khi tránh gradient trạng thái-đầu vào dễ vỡ thông qua các mô hình thị giác đa chiều. Công trình giải quyết các đồ thị tính toán điều kiện kém, cực tiểu cục bộ không tham lam, và các chế độ thất bại tiềm ẩn đa chiều khiến việc lập kế hoạch tầm xa trở nên mong manh. Công trình được thực hiện với Mike Rabbat, Aditi Krishnapriyan, Yann LeCun và Amir Bar.