Tới nội dung
  1. Hacker News · AI76

    Phát hành mã nguồn mở AgentRun: Bổ sung khả năng tự cải thiện và thực thi bền vững cho các agent harness hiện có

    Parcha Labs đã mã nguồn mở AgentRun, một nền tảng agent bổ sung lớp tự cải thiện, thực thi bền vững và một console lên trên Claude Code, Codex, OpenCode và pi, theo giấy phép Apache-2.0.

    Vì sao đáng chú ý: AgentRun bổ sung lớp tự cải thiện, thực thi bền vững và một console lên trên các harness hiện có như Claude Code và Codex, đồng thời cung cấp một trường hợp cụ thể trong đó chi phí đánh giá mã giảm từ 6.451 đô la mỗi tháng xuống còn 18 xu mỗi lần chạy.

  2. AWS Machine Learning Blog66

    AWS cập nhật runtime AgentCore: khởi tạo phiên nhanh gấp 15 lần và tính toán nhiều gấp 4 lần

    AWS công bố cập nhật cho runtime Amazon Bedrock AgentCore, lớp tính toán được quản lý dành cho agent, với các phiên nay khởi tạo nhanh hơn tới 15 lần, mở rộng lên tới 4 lần năng lực tính toán (tối đa 8 vCPU và 32 GB, với container image lên tới 10 GB) và chạy hiệu quả hơn tới 68%, trong khi mỗi phiên vẫn nằm trong Firecracker MicroVM cách ly phần cứng riêng. Phiên khởi tạo dưới 2 giây bất kể kích thước image hay mức đồng thời, agent nhàn rỗi tự động co về 0, và agent có thể gắn kết và lưu công việc vào hệ thống tệp như bucket Amazon S3 với hỗ trợ FUSE để dữ liệu nằm trong ranh giới tin cậy. Runtime hiện có sẵn tại các AWS Region ở Bắc Mỹ, Nam Mỹ, Châu Âu và Châu Á - Thái Bình Dương.

    Vì sao đáng chú ý: Phiên bản mới của runtime AgentCore điều chỉnh đồng thời việc khởi tạo phiên, giới hạn tính toán và tính phí bộ nhớ, mang lại cho các agent cần chạy lâu dài một sự đánh đổi mới giữa cách ly và chi phí.

  3. SemiAnalysis85

    Nvidia và thế giới không có Jensen: Nvidia thời hậu nhà sáng lập sẽ ra sao

    SemiAnalysis lập luận rằng Nvidia được xây dựng xoay quanh Jensen Huang, người đã rời ghế CEO sau 33 năm, và việc ông ra đi làm suy yếu các cược dài hạn của công ty, các thỏa thuận phân bổ chip và những ràng buộc chuỗi cung ứng mang tính cá nhân. Bài viết cho biết dưới thời Huang, Nvidia có khoảng 60 người báo cáo trực tiếp và thiếu một đội ngũ kế nhiệm dày dặn, với Colette Kress làm CEO tạm quyền và Ian Buck cùng Jonah Alben được nêu tên như các ứng viên kỹ thuật nội bộ. Bài viết cũng gắn thời điểm này với Washington: ước tính hơn 1,5GW chip Nvidia bị hạn chế đã đến Trung Quốc, và Đạo luật An ninh Truy cập Từ xa, đã được Hạ viện thông qua với tỷ lệ 369-22, đang chờ Thượng viện bỏ phiếu.

    Vì sao đáng chú ý: SemiAnalysis xem xét cấu trúc lấy nhà sáng lập làm trung tâm của Nvidia, các thỏa thuận chuỗi cung ứng và chính sách Trung Quốc có thể thay đổi thế nào sau khi Jensen Huang rời đi, và lý do vì sao luật kiểm soát xuất khẩu đang được thúc đẩy vào lúc này.

  4. AWS Machine Learning Blog60

    AWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI

    AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.

    Vì sao đáng chú ý: Nhóm AWS đã mã nguồn mở UAEF, sử dụng các adapter để thống nhất quỹ đạo tác nhân từ các framework khác nhau thành một định dạng duy nhất, sau đó chấm điểm chúng trên 7 khía cạnh bằng 36 chỉ số, cung cấp một lớp đánh giá có thể tái sử dụng để so sánh các phiên bản tác nhân across frameworks.

  1. The Decoder80

    Anthropic cho biết AI đã rút ngắn thời gian chuyển Claude sang GPU AMD từ nhiều tháng xuống còn ba ngày

    Anthropic cho biết họ đã chuyển Claude sang GPU AMD trong ba ngày với gần như không có sự can thiệp của con người, sử dụng mô hình tiên tiến Mythos của mình để tự viết gần như 100 phần trăm các kernel. Đồng sáng lập Tom Brown cho biết Anthropic hiện huấn luyện và vận hành Claude trên AWS Trainium, Google TPUs, GPU Nvidia và GPU AMD, coi chúng như một nhóm tài nguyên tính toán có thể hoán đổi cho nhau. Các con số đến từ một bài thuyết trình cho nhà đầu tư và chưa được xác minh độc lập; Anthropic nêu ba ngày so với sáu đến mười hai tháng mà kỹ thuật truyền thống cần, được đo trên xử lý prompt với GPU AMD MI355X.

    Vì sao đáng chú ý: Tuyên bố của Anthropic rằng mô hình của chính họ đã chuyển Claude sang GPU AMD trong ba ngày mang lại một phép thử cụ thể về việc liệu AI có thể nới lỏng sự kìm kẹp của CUDA đối với việc lựa chọn chip hay không.

  2. vLLM Blog64

    vLLM-Omni benchmark MiniMax H3-Image trên Vera Rubin: tạo ảnh 4K trong 0,87 giây và 6.115 ảnh/giờ

    vLLM-Omni đã đưa MiniMax H3-Image lên NVIDIA Vera Rubin và đo được độ trễ trung vị 0,87 giây cho text-to-image gốc 4096×4096 trên bốn GPU, cùng 6.115 ảnh/giờ trong một cấu hình thông lượng riêng. H3-Image là mô hình text-to-image và chỉnh sửa ảnh trọng số mở, kết hợp bộ mã hóa Qwen3-VL với DiT dày đặc 33,1B và VAE hình ảnh, xử lý cả hai tác vụ trong sáu bước lấy mẫu với tối đa 16 ảnh tham chiếu. Nhóm báo cáo MXFP8 DiT GEMMs, Ulysses SP4, bộ nhớ đệm AdaLN và một thay đổi giải mã VAE giúp giảm thời gian giải mã từ 2,635 giây xuống 0,213 giây, đồng thời liệt kê các công thức cho phần cứng AMD, Intel, Huawei Ascend và Moore Threads.

    Vì sao đáng chú ý: Benchmark của vLLM-Omni cho thấy MiniMax H3-Image chạy trên Vera Rubin với độ trễ 4K dưới một giây, kèm cấu hình theo từng phần cứng và mô hình chi phí cho kinh tế phục vụ.

  3. vLLM Blog60

    vLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines

    vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.

    Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.

  4. vLLM Blog72

    vLLM phục vụ DeepSeek-V4.1-Flash trên Vera Rubin NVL72 với thông lượng gấp 58 lần GB300 NVL72

    vLLM báo cáo việc phục vụ DeepSeek-V4.1-Flash trên một rack NVIDIA Vera Rubin NVL72 duy nhất đạt 1,7M token/s mỗi GPU với 387 token/s mỗi người dùng, gấp 58 lần GB300 NVL72, đạt đỉnh 2,52M token/s và 1.810 token/s cho một người dùng. Mức tăng đến từ các kernel được xây dựng lại cho các miền bộ nhớ tách biệt của Rubin và lõi tensor FP4, một đường giải mã TP8 chuyên dụng, và các pool KV và Engram toàn rack chia sẻ qua NVLink. Với các tiền tố được gộp chung trên toàn rack và định tuyến nhận biết khối lượng công việc của Dynamo, tỷ lệ trúng tiền tố giữ ở mức 96,5-97% ngay cả ở mức đồng thời cao.

    Vì sao đáng chú ý: Bài đăng thứ ba của vLLM về DeepSeek-V4.1-Flash trình bày chi tiết cách các kernel dành riêng cho Rubin và gộp bộ nhớ toàn rack nâng thông lượng gấp 58 lần so với GB300 NVL72, mang lại một tham chiếu cụ thể cho tối ưu hóa phục vụ quy mô lớn.

  5. Google Blog · AI78

    Google ra mắt API Gemini Decisions và mô hình Gemini Decision 1 cho các quyết định tập đóng nhanh chóng

    Google đã giới thiệu API Gemini Decisions, được hỗ trợ bởi mô hình Gemini Decision 1 mới (gemini-decision-1) và có sẵn thông qua API Gemini trong Google AI Studio. Một đầu vào đa phương thức duy nhất lên tới 256K token có thể được kiểm tra với tối đa 1.000 câu hỏi có/không, trắc nghiệm và chấm điểm theo tiêu chí trong một lượt truyền xuôi, trả về xác suất và điểm tin cậy với độ trễ đầu-cuối 150-250 ms với giá 0,10 USD trên 1 triệu token đầu vào và không tính phí token đầu ra. Google cho biết mô hình này dẫn đầu bộ tiêu chuẩn đánh giá của họ với sai số hiệu chuẩn thấp nhất và rẻ hơn gần 5 lần so với Gemini 3.5 Flash-Lite với API Interactions; các ứng dụng nội bộ bao gồm định tuyến mô hình trong Gemini Notebook, tạo wireframe trong Stitch và kiểm tra nội dung đối kháng cho các công cụ MCP trong Search.

    Vì sao đáng chú ý: Điểm cuối mới của Google chấm điểm tới 1.000 câu hỏi đa phương thức có/không, lựa chọn và theo tiêu chí trong một lượt với 150-250 ms, mang đến cho việc định tuyến tác nhân và kiểm tra chính sách một giải pháp thay thế rẻ hơn so với các lệnh gọi sinh tạo.

  1. Simon Willison78

    Video roadshow IPO của Anthropic nêu chi tiết chiến lược huấn luyện và phục vụ Claude trên nhiều loại chip

    Anthropic đã khởi động roadshow IPO của mình vào hôm qua, và video roadshow của công ty đã tiết lộ những chi tiết chưa từng được công bố về cách doanh nghiệp này vận hành, bao gồm một phần về chiến lược tính toán với đồng sáng lập Tom Brown. Brown cho biết Anthropic huấn luyện và phục vụ Claude trên AWS Trainium, Google TPUs, NVIDIA GPUs và AMD GPUs, và khi công ty bắt đầu làm việc với AMD GPUs trong năm nay, một hệ thống có tên Mythos đã đưa Claude chạy trên AMD trong ba ngày với hầu như không có can thiệp của con người, chuyển đổi hoặc viết gần như 100% các kernel. Ông cũng mô tả các hệ số nhân tính toán là động lực thứ hai của lợi thế tính toán, nói rằng mỗi hệ số nhân xếp chồng lên những hệ số trước đó và Claude cuối cùng có thể tự khám phá ra chúng hoàn toàn.

    Vì sao đáng chú ý: Video roadshow IPO của Anthropic nêu chi tiết chiến lược huấn luyện và phục vụ trên nhiều loại chip của công ty trên bốn dòng chip, bao gồm một bản chuyển đổi AMD có sự hỗ trợ của Claude được hoàn thành trong ba ngày.

  2. OpenRouter Announcements65

    OpenRouter đo chi phí ngữ cảnh của MCP, CLI và skills trên cùng một tác vụ GitHub

    OpenRouter đã đo cùng một tác vụ GitHub trên GitHub MCP server, gh CLI và một gh skill trên Claude Sonnet 5.5, GPT-6 Luna và Gemini 3.8 Flash. Trên Sonnet 5.5, cả ba đều trả lời đúng, nhưng CLI dùng 1.421 token đầu vào, skill dùng 3.315 và MCP server dùng 59.417 với 46 công cụ mặc định, riêng phần định nghĩa của chúng đã thêm 19.436 token mỗi yêu cầu. Giới hạn server xuống hai công cụ giảm tác vụ còn 23.228 token, giới hạn kết quả ở 4.000 ký tự đưa xuống 5.357, và Tool Search giảm chi phí ban đầu của 46 công cụ xuống dưới 600 token, dù nó giảm một nửa chi phí toàn tác vụ trên Sonnet 5.5 trong khi lại tăng trên Claude Haiku 5.5.

    Vì sao đáng chú ý: So sánh đo lường của OpenRouter cho thấy mỗi MCP server, CLI và skill tiêu thụ bao nhiêu ngữ cảnh trên cùng một tác vụ GitHub, và việc cắt bớt kết quả công cụ hoặc trì hoãn định nghĩa thay đổi hóa đơn ở đâu.

  3. OpenRouter Announcements60

    OpenRouter kiểm tra tác động của lượng tử hóa fp8 và fp4 đến chất lượng và giá của LLM

    OpenRouter đã chạy 280 tác vụ có đáp án chính xác trên sáu endpoint của Qwen3.8 27B vào ngày 20 tháng 10 năm 2026 và không phát hiện sự khác biệt về độ chính xác giữa fp16, fp8 và fp4, với cả sáu endpoint đạt điểm từ 98,3% đến 99,2%. Trên 1.455 endpoint, 59,5% không báo cáo độ chính xác nào và fp8 là định dạng được gắn nhãn phổ biến nhất với 23,6%. Độ chính xác thấp hơn có giá rẻ hơn đối với hầu hết các mô hình nhưng không phải tất cả, và việc lựa chọn nhà cung cấp ảnh hưởng đến giá nhiều hơn so với độ chính xác, với endpoint cùng độ chính xác đắt nhất có giá trung vị gấp 1,72 lần so với rẻ nhất.

    Vì sao đáng chú ý: OpenRouter đã đo các endpoint fp8, fp4 và fp16 của một mô hình trên 240 tác vụ có đáp án chính xác và không tìm thấy khoảng cách độ chính xác có thể phát hiện được, trong khi chênh lệch giá phụ thuộc vào nhà cung cấp nhiều hơn là độ chính xác.

  4. LangChain Blog60

    LangChain giải thích cách Deep Agents quản lý ngữ cảnh mà không cần giữ mọi thứ trong cửa sổ ngữ cảnh

    LangChain trình bày chi tiết cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chống lại hiện tượng suy giảm ngữ cảnh trong các phiên chạy agent dài. Kết quả công cụ vượt khoảng 20.000 token và tin nhắn người dùng vượt 50.000 token được chuyển sang tệp với chỉ một bản xem trước được hiển thị, trong khi tính năng tóm tắt cô đọng các tin nhắn cũ hơn khi mức sử dụng đạt 85% cửa sổ ngữ cảnh. Skills, subagents và một tệp bộ nhớ dài hạn dạng markdown giữ cửa sổ của agent chính ở mức nhỏ và cho phép bộ nhớ được duy trì qua các mô hình và nhà cung cấp.

    Vì sao đáng chú ý: LangChain giải thích cách bộ khung Deep Agents mã nguồn mở của họ sử dụng middleware để chuyển tải, tóm tắt và cô lập ngữ cảnh, mang đến một mẫu tái sử dụng được cho các agent trong các tác vụ dài.

  5. NVIDIA Blog60

    NVIDIA đóng góp OpenShell Agent Runtime cho CNCF và bổ sung công cụ DSX Kubernetes

    NVIDIA đang đóng góp OpenShell, runtime mã nguồn mở của mình để bảo mật và quản trị các tác nhân tự trị, cho Cloud Native Computing Foundation với tư cách là dự án Sandbox, đồng thời cũng đóng góp cho Agent Substrate do Google dẫn đầu. NVIDIA đã công bố ba thành phần mới của DSX AI Factory Platform: NVIDIA Kubernetes Engine và NVIDIA Kubernetes Recipes, hiện đang ở giai đoạn xem trước công khai, và NVIDIA Snapshot, có thể khôi phục các bản sao đã lưu checkpoint trong vài giây mà không cần tải lại mô hình hoặc khởi động làm nóng. Crusoe đã thử nghiệm GLM-5.3 trên Crusoe Cloud và giảm thời gian sẵn sàng của khối lượng công việc từ khoảng tám phút xuống còn 31 giây, trong khi Saturn Cloud giảm thời gian khởi động vLLM từ khoảng 2 đến 8,5 phút xuống còn 6 phút 34 giây.

    Vì sao đáng chú ý: NVIDIA đóng góp runtime bảo mật tác nhân OpenShell của mình cho CNCF và bổ sung bộ công cụ Kubernetes cho các nhà máy AI GPU, với kết quả Snapshot ban đầu giúp giảm thời gian khởi động suy luận từ vài phút xuống còn vài giây.

  1. Hugging Face Blog60

    Hugging Face giải thích về mô hình quyết định và sự hỗ trợ của chúng trong Transformers và llama.cpp

    Hugging Face đã công bố một bài giải thích về mô hình quyết định, loại mô hình nhận một trạng thái cùng các câu hỏi có kiểu và trả về xác suất trên các câu trả lời được định nghĩa trước thay vì sinh văn bản. Bài viết trình bày chi tiết các primitive choice, score và noul, công thức độ tin cậy, và sự hỗ trợ mới thông qua DecisionPipeline và AutoModelForDecision của Transformers, một endpoint /v1/systemone dùng chung trong Transformers và llama.cpp, một thẻ Hub để khám phá, và tinh chỉnh với Trainer API. Bài viết lưu ý rằng cùng endpoint đó cũng hoạt động với các LLM tự hồi quy tương thích bằng cách tính điểm logit của câu trả lời trong một lượt lan truyền xuôi theo lô.

    Vì sao đáng chú ý: Hugging Face giải thích cách các mô hình quyết định biến phân loại thành một giao diện có kiểu, không sinh văn bản và chỉ ra cách phục vụ và tinh chỉnh chúng với Transformers và llama.cpp.

  2. OpenRouter Announcements72

    OpenRouter đánh giá 15 mô hình thị giác và Mistral OCR trên tài liệu quét

    OpenRouter đã thử nghiệm 15 mô hình thị giác, Mistral OCR và Tesseract trên tám bản quét suy giảm tự tạo, và Claude Opus 5.5 chính xác nhất với 262 trong 264 giá trị khóa đúng với chi phí 16,42 đô la cho 1.000 trang, trong khi Mistral OCR có giá trị tốt nhất với 258 trong 264 với giá 2,02 đô la. Trên một hóa đơn mờ, GPT-6 Luna và GPT-6.1 Sol đã bịa ra chữ số thẻ, tên máy chủ và mật khẩu wifi, những lỗi mà tỷ lệ lỗi ký tự không phát hiện được. Bài viết bao gồm mã để phiên âm bản quét, tắt suy luận, kiểm tra chéo hai mô hình từ các phòng thí nghiệm khác nhau và chạy Mistral OCR thông qua plugin phân tích tệp.

    Vì sao đáng chú ý: Một đánh giá thực hành về 15 mô hình thị giác cùng Mistral OCR và Tesseract trên tám bản quét suy giảm, với mã có thể chạy để kiểm tra chéo hai mô hình nhằm phát hiện các giá trị bịa đặt.

  1. Anthropic · Claude.dev60

    Hướng dẫn của Anthropic về cách chọn giữa Claude Fable 5.2, Opus 5.5, Sonnet 5.5 và Haiku 5.5

    Anthropic đã công bố một hướng dẫn khuyến nghị các nhà phát triển bắt đầu hầu hết công việc lập trình và tri thức trên Claude Opus 5.5 ở mức nỗ lực trung bình mặc định, vì chi phí trên mỗi token chỉ bằng một nửa so với Fable 5.2. Hướng dẫn ánh xạ Sonnet 5.5 cho công việc hàng ngày có phạm vi rõ ràng, Haiku 5.5 cho các tác vụ phân loại, định tuyến và tác nhân con với khối lượng lớn, và Fable 5.2 cho các dự án lập trình, tài chính và khoa học khó nhất hoặc các phiên chạy dài không có giám sát. Hướng dẫn cũng khuyên điều chỉnh mức nỗ lực trước khi chuyển đổi mô hình, và lưu ý rằng trên SWE-bench Pro, Opus 5.5 ở mức thấp với các lần thất bại được chạy lại ở mức cao đã vượt qua khoảng 97% tác vụ với chi phí khoảng 0,17 USD mỗi tác vụ, so với 95,3% với 0,29 USD khi mọi tác vụ đều ở mức cao.

    Vì sao đáng chú ý: Hướng dẫn của chính Anthropic ánh xạ từng mô hình Claude và mức nỗ lực tới các loại tác vụ cụ thể, kèm so sánh chi phí trên mỗi tác vụ và điểm chuẩn để lựa chọn giữa chúng.

  2. Zyphra Research78

    Zyphra phát hành ZONOS3-Mini, mô hình TTS nhân bản giọng nói zero-shot theo giấy phép Apache 2.0 chạy trên thiết bị

    Zyphra đã phát hành ZONOS3-Mini, một mô hình chuyển văn bản thành giọng nói MoE thưa với 100M tham số hoạt động và 800M tổng tham số theo giấy phép Apache 2.0, được huấn luyện trên 112 NVIDIA H100 trong 2,5 ngày. Mô hình đạt thời gian đến âm thanh đầu tiên dưới 570 ms trên trình duyệt với Pixel 9 và dưới 150 ms trên M3 MacBook Air, với các runtime cho WebGPU, SGLang, vLLM và GGML. Mô hình bổ sung khả năng kiểm soát danh tính, giọng điệu, chất lượng, tâm trạng và cách thể hiện, bao gồm điều khiển ở cấp độ từ, và Zyphra báo cáo rằng mô hình đứng đầu trong số các mô hình mở trên benchmark ZTTS2-Eval mới của họ.

    Vì sao đáng chú ý: Mô hình TTS MoE nhỏ gọn của Zyphra kết hợp nhân bản giọng nói zero-shot với điều khiển cách thể hiện ở cấp độ từ trong khi chạy thời gian thực trên điện thoại và máy tính xách tay.

  3. Google Developers Blog60

    Google Cloud MaxText bổ sung song song hóa ngữ cảnh cho huấn luyện ngữ cảnh dài trên TPU

    Google Cloud đã phát hành hỗ trợ huấn luyện ngữ cảnh dài trong MaxText v0.2.4, khung huấn luyện JAX mã nguồn mở của họ, bổ sung bốn chiến lược song song hóa ngữ cảnh trên Cloud TPU: All-gather, A2A (DeepSpeed Ulysses), P2P (Ring Attention) và kết hợp A2A + P2P (USP). Các đánh giá chuẩn với Llama 3.1 8B đạt 70% MFU trên TPU 5p ở độ dài chuỗi lên đến 4 triệu token, và ngữ cảnh mở rộng đến 14 triệu token trên cả TPU 5p và TPU 7, với TPU 7 duy trì 50% MFU dưới 6 triệu token. Bản phát hành có sẵn trên PyPI, trong các Docker image và trên GitHub main, kèm các công thức mẫu cho TPU 7 và TPU 5p.

    Vì sao đáng chú ý: Bốn chiến lược song song hóa ngữ cảnh của MaxText trên Cloud TPU, cùng các số liệu MFU đánh giá chuẩn cho Llama 3.1 8B, mang đến cho các nhóm một tham chiếu cụ thể để lựa chọn cách huấn luyện ở độ dài chuỗi hàng triệu token.

  4. Anthropic Research71

    Anthropic thử nghiệm Claude Fable 5.2 trên thiết kế điện tử thực tế

    Anthropic báo cáo rằng Claude Fable 5.2 đã thiết kế ba thiết bị điện tử, gồm một loa hội nghị, một trung tâm trợ lý giọng nói và một thú ảo cầm tay, từ những yêu cầu tối thiểu, và Diode Computers đã chế tạo nguyên mẫu hoạt động được từ các tệp thiết kế của nó mà không cần sửa mạch. Trên bộ đánh giá PCB Gym nội bộ của Diode, Fable 5.2 đạt 69% so với 25% của Fable 5, và đạt 83,5% trên BenchCAD 2.1 công khai, gần gấp đôi Claude Fable 5.1. Các thiết bị vẫn là nguyên mẫu chưa qua kiểm định điện, tinh chỉnh ăng-ten, kiểm tra nhiệt hay chứng nhận, và Claude không được kết nối với thiết bị kiểm thử hay máy móc sản xuất.

    Vì sao đáng chú ý: Báo cáo của chính Anthropic về việc Claude Fable 5.2 thiết kế ba thiết bị điện tử hoạt động được cho thấy các mô hình đã tiến xa đến mức nào, từ việc chỉ bố trí một phần PCB đến tạo nguyên mẫu phần cứng đầu-cuối.