Tới nội dung
Chỉ Chính chủ#Hướng dẫn / thực hành
  1. LiveKit Blog62

    LiveKit thử nghiệm Gemini 4 Hydrogen so với 3.8 Flash trong một voice agent với các công cụ bị cố ý làm hỏng

    LiveKit đã chạy Gemini 4 Hydrogen và Gemini 3.8 Flash qua cùng một plugin Google trong một voice agent trợ lý du lịch với các công cụ bị cố ý làm lỗi, và Hydrogen tạo ra 0 báo cáo đặt chỗ sai trên 54 bản ghi, so với 2 của 3.8 Flash. Với Hydrogen ở mức high và 3.8 Flash ở mức mặc định, câu đầu tiên của Hydrogen đến sớm hơn 1,2 giây (4,0 giây so với 5,2 giây), và ở mức low trên cả hai thì sớm hơn 1,7 giây (2,8 giây so với 4,6 giây). Tác giả khuyến nghị dùng mức thinking medium hoặc high cho voice agent, lưu ý mức xhigh có trung vị 7,8 giây đến câu đầu tiên và trường hợp xấu nhất là 52 giây.

    Vì sao đáng chú ý: Bài kiểm tra thực tế của LiveKit cho thấy Gemini 4 Hydrogen báo cáo mọi lệnh gọi công cụ bị cố ý làm hỏng và bắt đầu trả lời sớm hơn 3.8 Flash, kèm dữ liệu độ trễ theo từng mức thinking cho voice agent.

  1. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

  1. OpenRouter Announcements65

    OpenRouter đo chi phí ngữ cảnh của MCP, CLI và skills trên cùng một tác vụ GitHub

    OpenRouter đã đo cùng một tác vụ GitHub trên GitHub MCP server, gh CLI và một gh skill trên Claude Sonnet 5.5, GPT-6 Luna và Gemini 3.8 Flash. Trên Sonnet 5.5, cả ba đều trả lời đúng, nhưng CLI dùng 1.421 token đầu vào, skill dùng 3.315 và MCP server dùng 59.417 với 46 công cụ mặc định, riêng phần định nghĩa của chúng đã thêm 19.436 token mỗi yêu cầu. Giới hạn server xuống hai công cụ giảm tác vụ còn 23.228 token, giới hạn kết quả ở 4.000 ký tự đưa xuống 5.357, và Tool Search giảm chi phí ban đầu của 46 công cụ xuống dưới 600 token, dù nó giảm một nửa chi phí toàn tác vụ trên Sonnet 5.5 trong khi lại tăng trên Claude Haiku 5.5.

    Vì sao đáng chú ý: So sánh đo lường của OpenRouter cho thấy mỗi MCP server, CLI và skill tiêu thụ bao nhiêu ngữ cảnh trên cùng một tác vụ GitHub, và việc cắt bớt kết quả công cụ hoặc trì hoãn định nghĩa thay đổi hóa đơn ở đâu.

  2. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  3. LangChain Blog60

    LangChain giải thích cách Deep Agents quản lý ngữ cảnh mà không cần giữ mọi thứ trong cửa sổ ngữ cảnh

    LangChain trình bày chi tiết cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chống lại hiện tượng suy giảm ngữ cảnh trong các phiên chạy agent dài. Kết quả công cụ vượt khoảng 20.000 token và tin nhắn người dùng vượt 50.000 token được chuyển sang tệp với chỉ một bản xem trước được hiển thị, trong khi tính năng tóm tắt cô đọng các tin nhắn cũ hơn khi mức sử dụng đạt 85% cửa sổ ngữ cảnh. Skills, subagents và một tệp bộ nhớ dài hạn dạng markdown giữ cửa sổ của agent chính ở mức nhỏ và cho phép bộ nhớ được duy trì qua các mô hình và nhà cung cấp.

    Vì sao đáng chú ý: LangChain giải thích cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chuyển tải, tóm tắt và cô lập ngữ cảnh, mang đến một mẫu tái sử dụng được cho các agent trong các tác vụ dài.

  1. Hugging Face Blog60

    Hugging Face giải thích về mô hình quyết định và sự hỗ trợ của chúng trong Transformers và llama.cpp

    Hugging Face đã công bố một bài giải thích về mô hình quyết định, loại mô hình nhận một trạng thái cùng các câu hỏi có kiểu và trả về xác suất trên các câu trả lời được định nghĩa trước thay vì sinh văn bản. Bài viết trình bày chi tiết các primitive choice, score và noul, công thức độ tin cậy, và sự hỗ trợ mới thông qua DecisionPipeline và AutoModelForDecision của Transformers, một endpoint /v1/systemone dùng chung trong Transformers và llama.cpp, một thẻ Hub để khám phá, và tinh chỉnh với Trainer API. Bài viết lưu ý rằng cùng endpoint đó cũng hoạt động với các LLM tự hồi quy tương thích bằng cách tính điểm logit của câu trả lời trong một lượt lan truyền xuôi theo lô.

    Vì sao đáng chú ý: Hugging Face giải thích cách các mô hình quyết định biến phân loại thành một giao diện có kiểu, không sinh văn bản và chỉ ra cách phục vụ và tinh chỉnh chúng với Transformers và llama.cpp.

  2. OpenRouter Announcements72

    OpenRouter đánh giá 15 mô hình thị giác và Mistral OCR trên tài liệu quét

    OpenRouter đã thử nghiệm 15 mô hình thị giác, Mistral OCR và Tesseract trên tám bản quét suy giảm tự tạo, và Claude Opus 5.5 chính xác nhất với 262 trong 264 giá trị khóa đúng với chi phí 16,42 đô la cho 1.000 trang, trong khi Mistral OCR có giá trị tốt nhất với 258 trong 264 với giá 2,02 đô la. Trên một hóa đơn mờ, GPT-6 Luna và GPT-6.1 Sol đã bịa ra chữ số thẻ, tên máy chủ và mật khẩu wifi, những lỗi mà tỷ lệ lỗi ký tự không phát hiện được. Bài viết bao gồm mã để phiên âm bản quét, tắt suy luận, kiểm tra chéo hai mô hình từ các phòng thí nghiệm khác nhau và chạy Mistral OCR thông qua plugin phân tích tệp.

    Vì sao đáng chú ý: Một đánh giá thực hành về 15 mô hình thị giác cùng Mistral OCR và Tesseract trên tám bản quét suy giảm, với mã có thể chạy để kiểm tra chéo hai mô hình nhằm phát hiện các giá trị bịa đặt.

  1. Anthropic · Claude.dev60

    Hướng dẫn của Anthropic về cách chọn giữa Claude Fable 5.2, Opus 5.5, Sonnet 5.5 và Haiku 5.5

    Anthropic đã công bố một hướng dẫn khuyến nghị các nhà phát triển bắt đầu hầu hết công việc lập trình và tri thức trên Claude Opus 5.5 ở mức nỗ lực trung bình mặc định, vì chi phí trên mỗi token chỉ bằng một nửa so với Fable 5.2. Hướng dẫn ánh xạ Sonnet 5.5 cho công việc hàng ngày có phạm vi rõ ràng, Haiku 5.5 cho các tác vụ phân loại, định tuyến và tác nhân con với khối lượng lớn, và Fable 5.2 cho các dự án lập trình, tài chính và khoa học khó nhất hoặc các phiên chạy dài không có giám sát. Hướng dẫn cũng khuyên điều chỉnh mức nỗ lực trước khi chuyển đổi mô hình, và lưu ý rằng trên SWE-bench Pro, Opus 5.5 ở mức thấp với các lần thất bại được chạy lại ở mức cao đã vượt qua khoảng 97% tác vụ với chi phí khoảng 0,17 USD mỗi tác vụ, so với 95,3% với 0,29 USD khi mọi tác vụ đều ở mức cao.

    Vì sao đáng chú ý: Hướng dẫn của chính Anthropic ánh xạ từng mô hình Claude và mức nỗ lực tới các loại tác vụ cụ thể, kèm so sánh chi phí trên mỗi tác vụ và điểm chuẩn để lựa chọn giữa chúng.

  1. Google Developers Blog60

    Nghiên cứu của Google phát hiện các tham chiếu lỗi TODO cũ gây xao nhãng các tác nhân lập trình trong 13% số phiên

    ) các tham chiếu. Các tác nhân đã hành động dựa trên ID lỗi trong 6% số lần gặp, và 83% trong số những hành động đó là do nhà phát triển không nhắc đến; 41% các chuyến đi lạc không được nhắc đến đuổi theo các phiếu đã đóng trong khi 57% gặp phải các lỗi vẫn còn mở và mở rộng phạm vi. Khi kiểm soát theo nhà phát triển, độ phức tạp của cơ sở mã, loại nhiệm vụ, cấp độ mô hình và các yếu tố khác, các chuyến đi lạc lỗi không được nhắc đến đã thêm 70% số bước, 77% token và 105% thời gian chờ mỗi phiên.

    Vì sao đáng chú ý: Phân tích dấu vết quy mô lớn của Google cho thấy các tham chiếu lỗi TODO cũ kéo các tác nhân lập trình vào những chuyến đi lạc không được nhắc đến, và các tác nhân dọn dẹp của họ đã loại bỏ hàng nghìn tham chiếu lỗi thời với tỷ lệ chấp nhận của người đánh giá trên 95%.

  2. Anthropic Research60

    Anthropic giải thích các thành phần bộ nhớ của tác nhân Claude

    Anthropic đã phác thảo cách họ thiết kế bộ nhớ cho các tác nhân Claude, định nghĩa bộ nhớ tác nhân là kiến thức được lưu giữ qua các phiên và tách biệt nó khỏi thay đổi trọng số, học trong ngữ cảnh và nén. 5 đã khớp nó với bộ nhớ. 7 đã ghi 413 tệp trên 225 thư mục và giành được một huy hiệu.

    Vì sao đáng chú ý: Anthropic trình bày chi tiết cách bộ nhớ tác nhân của Claude hoạt động, so sánh việc ghi chú của các mô hình trên CL-Bench và Pokémon Red và cho thấy cách mơ ngoại tuyến sửa chữa và sắp xếp các ghi chú đã lưu.

  1. Google Developers Blog60

    Google tích hợp TorchTitan vào TorchTPU và phát hành sổ tay tối ưu hóa mô hình TPU

    Google đã phát hành bản fork TPU của TorchTitan do Meta phát triển, cho phép huấn luyện PyTorch trên Cloud TPU thông qua backend torch.device("tpu") gốc của TorchTPU, với các kernel gốc TPU và một playbook tối ưu hóa từng bước. Trên TPU v7x (Ironwood), Llama 3 405B duy trì khoảng 57% MFU từ 128 đến 1.024 chip, Qwen3 235B đạt 32,42% MFU trên một slice 1.024 chip, và FLUX.1 đạt 19,4% MFU trên 1.024 chip với hiệu suất weak-scaling 93%. Bản fork có tại https://github.com/google-pytorch/torchtitan/, và một backend mô hình hóa Transformers cùng một kỹ năng onboarding agent mở rộng cùng trainer này cho các checkpoint khác.

    Vì sao đáng chú ý: Google hợp tác với Meta để chuyển TorchTitan sang TPU, đồng thời đưa ra lộ trình tinh chỉnh từng bước từ FLUX.1 đến Qwen3 235B cùng các con số MFU, có thể dùng làm tài liệu tham khảo cho các nhóm PyTorch đánh giá tính khả thi của huấn luyện trên TPU.

  1. Anthropic · Claude.dev62

    Nhóm Claude Code thực hiện đánh giá mã như thế nào

    Nhóm Claude Code mô tả quy trình đánh giá mã theo nhiều lớp của mình, trong đó phần lớn việc đọc được thực hiện bởi máy móc và sự chú ý của con người được dành cho việc phê duyệt dựa trên rủi ro. Từ tháng 6 đến tháng 9, số pull request đã hợp nhất vào cơ sở mã Claude Code tăng hơn gấp đôi trong khi tỷ lệ phải hoàn nguyên giảm hơn 40 phần trăm. Quy trình xếp chồng các bước xác minh trước PR, CI bắt buộc, đánh giá của Claude, đánh giá bảo mật, phê duyệt của con người theo cấp rủi ro và hàng đợi hợp nhất với cờ và hoàn nguyên nhanh, và nhóm đã biến các sự cố trong quá khứ thành một bộ đánh giá hàng ngày cho người đánh giá.

    Vì sao đáng chú ý: Nhóm Claude Code của Anthropic trình bày chi tiết cách họ chuyển phần lớn việc đọc mã sang các lớp tự động trong khi PR đã hợp nhất tăng gấp đôi và số lần hoàn nguyên giảm hơn 40 phần trăm, mang lại một mô hình đánh giá có thể chuyển giao cho các nhóm sử dụng nhiều tác nhân.

  1. Anthropic · Claude.dev62

    Anthropic hướng dẫn xây dựng tự động hóa tác nhân theo lịch với Claude Managed Agents

    Anthropic đã công bố một bản triển khai tham chiếu cho Claude Managed Agents (bản beta), đọc các kênh Slack và pull request GitHub theo lịch cron, theo dõi thay đổi kể từ lần chạy trước thông qua bookmark theo từng nguồn, và đăng bản tóm tắt lên Slack. Hướng dẫn bao gồm thông tin xác thực lưu trong vault, quyền truy cập chỉ đọc và giới hạn chi tiêu mỗi lần chạy, cùng các quy tắc báo cáo nguồn bị lỗi là không thể đọc thay vì coi là ngày yên ắng và xác nhận bài đăng Slack trước khi cập nhật bookmark và sổ cái. Một lệnh Claude Code với kỹ năng claude-api cấu hình tác nhân theo hướng dẫn trong bài viết.

    Vì sao đáng chú ý: Anthropic chia sẻ bản triển khai tham chiếu cho Claude Managed Agents theo lịch đọc Slack và GitHub, với các quy tắc cụ thể về bookmark, đọc lỗi và xác nhận đăng bài.

  1. Anthropic · Claude.dev72

    Phiên Claude Code trên đám mây: hướng dẫn thực địa để chạy tác vụ trên các VM riêng biệt

    Addy Osmani đi qua các phiên Claude Code trên đám mây, nơi mỗi tác vụ chạy trên một VM mới do Anthropic quản lý với kho lưu trữ được sao chép vào nhánh riêng của nó, và các phiên đám mây được bao gồm trong các gói Pro, Max, Team và Enterprise mà không tính thêm phí tính toán. Trong một thử nghiệm bốn phiên trên một kho Node mẫu, ba phiên bắt đầu trong vòng 16 giây của nhau đã hoàn thành 87 giây sau khi phiên đầu tiên bắt đầu, và phiên kiểm thử không ổn định đã chạy bộ kiểm thử 40 lần với không lỗi. Hướng dẫn bao gồm các script thiết lập, mức mạng, các đường kết nối GitHub và bảy quy trình phù hợp với các phiên đám mây, đồng thời lưu ý rằng các phiên cục bộ vẫn phù hợp hơn cho các tác vụ cần dữ liệu cục bộ, dịch vụ VPN, GPU hoặc Zero Data Retention.

    Vì sao đáng chú ý: Một hướng dẫn thực địa thực hành về các phiên Claude Code trên đám mây, cho thấy cách các VM theo từng tác vụ cho phép làm việc song song và nơi các phiên cục bộ vẫn phù hợp hơn.

  1. Anthropic · Claude.dev60

    Bắt đầu với Claude Code mods: xây dựng dự báo cửa sổ ngữ cảnh

    Claude Code mods là các tệp JavaScript hoặc TypeScript nhỏ chạy bên trong một phiên như các hook được đóng gói trong plugin, và có thể quan sát sự kiện, viết lại hành vi hoặc vẽ giao diện tùy chỉnh trong terminal hoặc ứng dụng desktop. Hướng dẫn xây dựng Token Weather, một mod khoảng 80 dòng đọc $.session.usage() sau mỗi lượt và vẽ dải cửa sổ ngữ cảnh kiểu thời tiết phía trên prompt, sau đó giới thiệu Blast Radius, giữ các lệnh Bash rủi ro, và Replay Theater, duyệt qua các chỉnh sửa của một lượt. Mods yêu cầu Claude Code 2.1.287 trở lên và được bật mặc định; mã hoàn chỉnh cho cả ba nằm trong anthropics/claude-code-playground.

    Vì sao đáng chú ý: Hướng dẫn thực hành về Claude Code mods xây dựng một đồng hồ đo cửa sổ ngữ cảnh hoạt động trong khoảng 80 dòng, cho thấy cách hook, trạng thái và giao diện tùy chỉnh kết hợp với nhau.

  1. Anthropic · Claude.dev72

    Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api trong Claude Code

    Anthropic đã thêm hai lệnh vào skill claude-api bên trong Claude Code: /claude-api build-eval xây dựng một bộ đánh giá trong codebase của bạn, và /claude-api hillclimb lặp cải tiến một ứng dụng dựa trên bộ đánh giá đó với một tập giữ riêng để phát hiện overfitting.

    Vì sao đáng chú ý: Anthropic bổ sung lệnh build-eval và hillclimb vào skill claude-api của mình, cho thấy Claude Code có thể thiết kế các bộ đánh giá và lặp cải tiến dựa trên chúng đồng thời phòng ngừa overfitting.

  1. OpenAI Developers Blog60

    OpenAI công bố danh sách kiểm tra triển khai API cho khối lượng công việc GPT-6

    OpenAI đã công bố danh sách kiểm tra triển khai API hướng dẫn các nhà phát triển chuyển khối lượng công việc sang Responses API và dòng mô hình GPT-6, bao gồm gpt-6-astra, gpt-6.1-sol, gpt-6 Sol và gpt-6 Luna. Hướng dẫn bao gồm các mức reasoning.effort từ low đến max, text.verbosity, tool_search với tải công cụ trì hoãn, Programmatic Tool Calling, Multi-agent, compaction, bộ nhớ đệm prompt và chế độ WebSocket, mà OpenAI cho biết đã cho thấy tốc độ thực thi end-to-end nhanh hơn tới khoảng 40% đối với các quy trình có 20 lệnh gọi công cụ trở lên. Tài liệu cũng nêu chi tiết các bước về độ tin cậy và an toàn như xử lý lỗi 429 và 503, background=True cho các tác vụ dài, safety_identifier và giám sát misalignment.

    Vì sao đáng chú ý: Danh sách kiểm tra triển khai chính thức của OpenAI hợp nhất việc lựa chọn mô hình, mức reasoning effort, tool search, compaction và chế độ WebSocket vào một hướng dẫn di chuyển duy nhất cho khối lượng công việc GPT-6.

  1. OpenAI Developers Blog67

    OpenAI cập nhật hướng dẫn viết prompt cho Sora 2 với tham chiếu nhân vật, clip 20 giây và gia hạn video

    OpenAI đã cập nhật hướng dẫn viết prompt cho Sora 2 để bao quát các khả năng API mới: tham chiếu nhân vật có thể tái sử dụng cho đồ vật và động vật, xuất 1920×1080 và 1080×1920, độ dài clip tối đa tăng từ 12 giây lên 20 giây, gia hạn video sử dụng toàn bộ clip gốc làm ngữ cảnh, và Batch API cho các tác vụ video bất đồng bộ. Hướng dẫn cũng trình bày cấu trúc prompt cho khung hình, chuyển động camera, ánh sáng và hội thoại, đồng thời lưu ý rằng độ phân giải, thời lượng và ID nhân vật phải được đặt làm tham số API thay vì mô tả bằng văn xuôi. Hỗ trợ gia hạn tối đa 20 giây, và một video có thể được gia hạn tối đa 6 lần với tổng cộng 120 giây.

    Vì sao đáng chú ý: Hướng dẫn viết prompt Sora 2 được cập nhật của OpenAI trình bày chi tiết các khả năng API mới như tham chiếu nhân vật, clip 20 giây và gia hạn video, cùng các mẫu prompt có thể tái sử dụng để kiểm soát khung hình.

  1. OpenAI Developers Blog62

    OpenAI công bố hướng dẫn prompting Codex cho gpt-5.3-codex

    OpenAI đã phát hành hướng dẫn prompting Codex dành cho các nhà phát triển gọi trực tiếp mô hình gpt-5.3-codex được tinh chỉnh cho Codex thông qua API, khuyến nghị mức reasoning effort trung bình cho lập trình tương tác và mức high hoặc xhigh cho những tác vụ khó nhất. Hướng dẫn bao gồm việc di chuyển một harness hiện có sang codex-cli mã nguồn mở, bao gồm prompt Codex-Max tiêu chuẩn, các công cụ apply_patch, shell_command và update_plan, cùng tính năng compaction hạng nhất qua /compact trong Responses API cho các phiên kéo dài nhiều giờ. Hướng dẫn cũng mô tả trường phase mới, chỉ được hỗ trợ trên gpt-5.3-codex, đánh dấu các mục của assistant là commentary hoặc final_answer và phải được giữ nguyên trong lịch sử để tránh suy giảm hiệu năng.

    Vì sao đáng chú ý: Hướng dẫn chính thức của OpenAI trình bày chi tiết cách tinh chỉnh prompt, công cụ và compaction cho gpt-5.3-codex, mang lại cho các nhóm một lộ trình di chuyển cụ thể cho các coding agent của riêng họ.

  1. Modal Blog60

    Kỹ sư Modal phân tích ngược cách Flash Attention 4 hoạt động

    Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và phân tích ngược cách kernel attention tối ưu cho Blackwell hoạt động, do chưa có báo cáo kỹ thuật chính thức. Bài viết theo dõi một tile đi qua pipeline bất đồng bộ chuyên biệt theo warp của kernel và trình bày chi tiết hai thủ thuật toán học: một hàm mũ phần mềm dạng đa thức bậc ba có thể thay thế phép lũy thừa dựa trên SFU, và một quy tắc tái chuẩn hóa online softmax thông minh hơn mà Tri Dao cho biết giảm số lần hiệu chỉnh xuống 10 lần. FA4 được báo cáo là nhanh hơn khoảng 20% so với các kernel attention cudnn mã nguồn đóng của Nvidia, và phiên bản backwards chưa có sẵn tại thời điểm viết bài.

    Vì sao đáng chú ý: Các kỹ sư Modal đã đọc mã nguồn Flash Attention 4 được phát hành và giải thích pipeline chuyên biệt theo warp cùng hai thủ thuật toán học của nó, mang lại góc nhìn có thể chuyển giao về hướng phát triển của thiết kế kernel CUDA.