Tới nội dung
#Hệ sinh thái mã nguồn mở
  1. AWS Machine Learning Blog66

    AWS cập nhật runtime AgentCore: khởi tạo phiên nhanh gấp 15 lần và tính toán nhiều gấp 4 lần

    AWS công bố cập nhật cho runtime Amazon Bedrock AgentCore, lớp tính toán được quản lý dành cho agent, với các phiên nay khởi tạo nhanh hơn tới 15 lần, mở rộng lên tới 4 lần năng lực tính toán (tối đa 8 vCPU và 32 GB, với container image lên tới 10 GB) và chạy hiệu quả hơn tới 68%, trong khi mỗi phiên vẫn nằm trong Firecracker MicroVM cách ly phần cứng riêng. Phiên khởi tạo dưới 2 giây bất kể kích thước image hay mức đồng thời, agent nhàn rỗi tự động co về 0, và agent có thể gắn kết và lưu công việc vào hệ thống tệp như bucket Amazon S3 với hỗ trợ FUSE để dữ liệu nằm trong ranh giới tin cậy. Runtime hiện có sẵn tại các AWS Region ở Bắc Mỹ, Nam Mỹ, Châu Âu và Châu Á - Thái Bình Dương.

    Vì sao đáng chú ý: Phiên bản mới của runtime AgentCore điều chỉnh đồng thời việc khởi tạo phiên, giới hạn tính toán và tính phí bộ nhớ, mang lại cho các agent cần chạy lâu dài một sự đánh đổi mới giữa cách ly và chi phí.

  1. TechCrunch · AI78

    Jensen Huang từ chức CEO Nvidia, dấy lên nghi ngờ về sự ủng hộ mã nguồn mở của Nvidia

    CEO Nvidia Jensen Huang từ chức vào thứ Năm sau khi thừa nhận ngoại tình với một người bị cáo buộc là gián điệp Trung Quốc, khiến việc Nvidia có tiếp tục ủng hộ AI trọng số mở hay không trở nên bỏ ngỏ. Huang đã thúc đẩy dòng mô hình trọng số mở Nemotron, hậu thuẫn các startup như Reflection AI và Thinking Machines Lab, và tổ chức một lá thư ngỏ có chữ ký của 25 công ty kêu gọi Washington không hạn chế quá mức các mô hình mở. Nvidia đã bổ nhiệm CFO Colette Kress làm CEO tạm thời và vẫn chưa hoàn tất thương vụ mua lại Hugging Face trị giá 13 tỷ USD.

    Vì sao đáng chú ý: Việc Huang từ chức khiến hoạt động vận động cho AI trọng số mở mất đi người ủng hộ doanh nghiệp nổi bật nhất, trong khi thương vụ Hugging Face đang chờ xử lý của Nvidia và các động lực kinh doanh của chính công ty cho thấy chiến lược này có thể sẽ tồn tại lâu hơn ông.

  2. vLLM Blog64

    vLLM-Omni benchmark MiniMax H3-Image trên Vera Rubin: tạo ảnh 4K trong 0,87 giây và 6.115 ảnh/giờ

    vLLM-Omni đã đưa MiniMax H3-Image lên NVIDIA Vera Rubin và đo được độ trễ trung vị 0,87 giây cho text-to-image gốc 4096×4096 trên bốn GPU, cùng 6.115 ảnh/giờ trong một cấu hình thông lượng riêng. H3-Image là mô hình text-to-image và chỉnh sửa ảnh trọng số mở, kết hợp bộ mã hóa Qwen3-VL với DiT dày đặc 33,1B và VAE hình ảnh, xử lý cả hai tác vụ trong sáu bước lấy mẫu với tối đa 16 ảnh tham chiếu. Nhóm báo cáo MXFP8 DiT GEMMs, Ulysses SP4, bộ nhớ đệm AdaLN và một thay đổi giải mã VAE giúp giảm thời gian giải mã từ 2,635 giây xuống 0,213 giây, đồng thời liệt kê các công thức cho phần cứng AMD, Intel, Huawei Ascend và Moore Threads.

    Vì sao đáng chú ý: Benchmark của vLLM-Omni cho thấy MiniMax H3-Image chạy trên Vera Rubin với độ trễ 4K dưới một giây, kèm cấu hình theo từng phần cứng và mô hình chi phí cho kinh tế phục vụ.

  3. vLLM Blog60

    vLLM hỗ trợ day-0 cho Inkling 2 Small của Thinking Machines

    vLLM hỗ trợ Inkling 2 Small của Thinking Machines ngay từ ngày đầu tiên, một MoE đa phương thức văn bản và thị giác với tổng 594B và 17B tham số hoạt động, ngữ cảnh lên đến 1M token. Tích hợp này bổ sung kernel fusion với PDL, sequence parallelism cho prefill giúp giảm bước prefill 8K token 22% ở TP4 và 26% ở TP8, cùng kernel decode attention tương đối Gluon giúp giảm bước decode batch-1 ở ngữ cảnh 100K từ 15,1 ms xuống 4,8 ms. vLLM báo cáo lên đến 630 TPS/người dùng ở TP4 trên GB200 với độ dài chấp nhận 3,5, đồng thời hỗ trợ LoRA và RL qua SkyRL.

    Vì sao đáng chú ý: vLLM hỗ trợ Inkling 2 Small ngay trong ngày ra mắt, đồng thời cung cấp dữ liệu tối ưu cụ thể về kernel fusion, sequence parallelism và kernel decode Gluon, có thể làm tài liệu tham khảo cho các nhóm triển khai mô hình MoE lớn.

  1. NVIDIA Blog60

    NVIDIA đóng góp OpenShell Agent Runtime cho CNCF và bổ sung công cụ DSX Kubernetes

    NVIDIA đang đóng góp OpenShell, runtime mã nguồn mở của mình để bảo mật và quản trị các tác nhân tự trị, cho Cloud Native Computing Foundation với tư cách là dự án Sandbox, đồng thời cũng đóng góp cho Agent Substrate do Google dẫn đầu. NVIDIA đã công bố ba thành phần mới của DSX AI Factory Platform: NVIDIA Kubernetes Engine và NVIDIA Kubernetes Recipes, hiện đang ở giai đoạn xem trước công khai, và NVIDIA Snapshot, có thể khôi phục các bản sao đã lưu checkpoint trong vài giây mà không cần tải lại mô hình hoặc khởi động làm nóng. Crusoe đã thử nghiệm GLM-5.3 trên Crusoe Cloud và giảm thời gian sẵn sàng của khối lượng công việc từ khoảng tám phút xuống còn 31 giây, trong khi Saturn Cloud giảm thời gian khởi động vLLM từ khoảng 2 đến 8,5 phút xuống còn 6 phút 34 giây.

    Vì sao đáng chú ý: NVIDIA đóng góp runtime bảo mật tác nhân OpenShell của mình cho CNCF và bổ sung bộ công cụ Kubernetes cho các nhà máy AI GPU, với kết quả Snapshot ban đầu giúp giảm thời gian khởi động suy luận từ vài phút xuống còn vài giây.

  1. Goodfire Research62

    Goodfire nghiên cứu các neuron của Qwen3.6-35B-A3B như một nền tảng có thể diễn giải

    Goodfire Research đã công bố một nghiên cứu lập luận rằng các neuron MLP riêng lẻ trong Qwen3.6-35B-A3B có thể diễn giải được hơn so với giả định, dựa trên các công cụ thưa hóa, quy gán và các tác nhân nghiên cứu. Việc loại bỏ 92,2% kích hoạt neuron MoE yếu nhất mỗi lượt truyền xuôi chỉ làm tăng mất mát của mô hình ngôn ngữ thêm 2,9%, và 69% các cực neuron có một chế độ duy nhất chịu trách nhiệm cho ít nhất 90% hiệu ứng nhân quả của chúng. Các mô tả neuron bằng ngôn ngữ tự nhiên cho phép một mô hình giám khảo dự đoán việc kích hoạt với độ chính xác 95% so với văn bản ngẫu nhiên và phục hồi 73% thiệt hại do loại bỏ thông qua mô phỏng.

    Vì sao đáng chú ý: Nghiên cứu của Goodfire về các neuron của Qwen3.6-35B-A3B lập luận rằng chỉ riêng các kích hoạt mạnh đã mang phần lớn tính toán của mô hình, đưa ra một giải pháp thay thế cụ thể cho cách diễn giải bằng từ điển đặc trưng.

  1. OpenClaw Blog69

    OpenClaw phát hành Multiplayer cho các agent và ngữ cảnh dùng chung

    OpenClaw đã phát hành Multiplayer, một tính năng miễn phí và mã nguồn mở cho phép nhiều người kết nối với cùng một agent và workspace của OpenClaw, với các prompt hiển thị trực tiếp trên nhiều laptop và các yêu cầu được điều phối qua một hàng đợi dùng chung. Trong các bản demo tại GitHub Universe ở San Francisco, hai người tham dự đã chỉnh sửa cùng một cảnh 3D bằng cách nhập prompt trên các máy riêng biệt mà không cần nhắc lại ngữ cảnh. OpenClaw Foundation cho biết đã có hơn 50 người cộng tác trong cùng một môi trường dùng chung và đang tiếp tục mở rộng tính năng này.

    Vì sao đáng chú ý: OpenClaw biến việc nhiều người dùng chung một Agent và ngữ cảnh thành tính năng miễn phí, mã nguồn mở, mang đến một cách làm có thể chuyển giao cho vấn đề phải liên tục tái tạo ngữ cảnh trong cộng tác nhóm.

  1. vLLM Blog73

    Buoyant phát hành Kinference, một control plane suy luận mã nguồn mở cho vLLM và Kubernetes

    Buoyant công bố Kinference, một control plane mã nguồn mở Apache v2 định tuyến lưu lượng suy luận tương thích OpenAI và Anthropic đến các worker vLLM trên Kubernetes, bổ sung giới hạn tốc độ token, theo dõi mức sử dụng và chi phí theo từng tenant, cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML. Trong các benchmark công khai của dự án, Kinference giảm 95% thời gian đến token đầu tiên trung vị và 45% độ trễ end-to-end trung vị so với cân bằng tải dịch vụ Kubernetes tiêu chuẩn trên một workload, và phục vụ goodput gấp 7,4 lần trên shared-prefix và khoảng 3,5 lần trên multiturn trong một bài kiểm tra công suất. Các chính sách có thể định tuyến prompt đơn giản hơn đến các mô hình rẻ hơn, đẩy lưu lượng đột biến tràn sang các nhà cung cấp như Bedrock và Databricks, hoặc giữ các yêu cầu gắn thẻ PII bên trong cluster, và các chỉ số theo từng tenant bao gồm tốc độ token, TTFT, ITL và token prompt có cache so với không có cache.

    Vì sao đáng chú ý: Kinference của Buoyant bổ sung cân bằng tải nhận biết KV-cache và các chính sách suy luận bằng YAML lên trên vLLM, với các benchmark tuyên bố cải thiện lớn về TTFT và goodput so với định tuyến dịch vụ Kubernetes tiêu chuẩn.

  1. Epoch AI · Gradient Updates82

    Epoch AI phát hiện GLM 5.3 có thể biến các bản vá Firefox đã công bố thành exploit hoạt động trước khi người dùng cập nhật

    Epoch AI báo cáo rằng GLM 5.3, một mô hình trọng số mở do Z.ai phát hành vào tháng 8, đã tự động xây dựng các exploit hoạt động từ các bản vá bảo mật của Mozilla đã được công bố nhưng chưa phát hành tới người dùng, xâm phạm cả sáu phiên bản Firefox phát hành từ ngày 17 tháng 9 đến ngày 26 tháng 10. Sau khoảng 100.000 USD chi phí thiết lập và API, mỗi cuộc tấn công thành công tốn khoảng 1.000 USD chi phí tính toán, và nỗ lực nhanh nhất mất 12 giờ trong ngân sách 48 giờ. Các cuộc tấn công tương tự nhắm vào Chrome đã không thành công, và các nhà nghiên cứu cho biết không có biện pháp bảo vệ hay từ chối nào của nhà cung cấp bị kích hoạt; một lỗ hổng chưa công bố riêng biệt mà họ phát hiện đã được vá trong bản phát hành Firefox 159.0 ngày 27 tháng 10.

    Vì sao đáng chú ý: Thí nghiệm của Epoch AI cho thấy một mô hình trọng số mở tự động vũ khí hóa các bản vá Firefox đã công bố nhưng chưa phát hành, đưa ra con số cụ thể về chi phí và thời gian cho khoảng trống vá lỗi.

  1. Anthropic Newsroom71

    Anthropic tặng chuẩn Agent Skills cho Agentic AI Foundation

    Anthropic đang tặng Agent Skills, chuẩn mở giúp cung cấp kiến thức chuyên biệt và quy trình làm việc cho các tác nhân AI, cho Agentic AI Foundation (AAIF) thuộc Linux Foundation. Hơn 70 nền tảng tác nhân bao gồm ChatGPT, Cursor, GitHub Copilot và VS Code đã tích hợp chuẩn này kể từ khi được công bố vào tháng 12 năm 2025, với 1 triệu kỹ năng được công bố và gần 280 triệu lượt cài đặt. Việc tặng bao gồm tên và logo Agent Skills, tổ chức GitHub và tên miền agentskills.io, với các kỹ sư từ Anthropic, Google, OpenAI và các công ty khác duy trì nó với tư cách cá nhân dưới sự dẫn dắt của các Lead Maintainer David Soria Parra và Mahesh Murag.

    Vì sao đáng chú ý: Anthropic trao chuẩn Agent Skills của mình cho AAIF thuộc Linux Foundation, cùng một ngôi nhà trung lập như MCP, mang lại cho cộng đồng tiếng nói chính thức về lộ trình của đặc tả.

  1. Meta AI Research Blog88

    Meta phát hành Muse Spark Open, mô hình đa phương thức trọng số mở 816B chạy trên hai Mac Studio

    Meta đã phát hành trọng số cho Muse Spark Open, một mô hình đa phương thức gốc với trọng số mở có tổng cộng 816B tham số (42B hoạt động) và cửa sổ ngữ cảnh 1M token, định hướng cho công việc lập trình và tác tử. Đây là mô hình đầu tiên trong phân khúc của nó chạy trên máy tính để bàn bằng hai Apple M5 Ultra Mac Studio với framework MLX, và có sẵn thông qua các đối tác API bao gồm Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter và Together AI, với trọng số trên Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden và Microsoft Foundry Models. Meta cho biết mô hình đi kèm với các kernel GPU Helion có thể tự động tinh chỉnh trong SGLang, mang lại tốc độ tăng tốc cấp kernel từ 1,03-3,95 lần trên GPU NVIDIA và AMD và tăng tốc end-to-end 3% trên AMD MI350.

    Vì sao đáng chú ý: Meta phát hành trọng số mở cho một mô hình đa phương thức 816B tham số chạy trên hai Mac Studio, mang đến cho nhà phát triển một lựa chọn cục bộ cho các tác vụ lập trình và tác tử dài hạn.

  1. Goodfire Research71

    Goodfire huấn luyện và triển khai các bộ giám sát lạm dụng không gian mạng dựa trên probe trên Kimi K3 và GLM 5.3

    3 và triển khai chúng trên một ngăn xếp suy luận production, nơi một probe rẻ tiền lọc các lượt và chỉ những trao đổi đáng ngờ mới đến một LLM judge. Tỷ lệ gián đoạn phiên lành tính 5%, chi phí 65 đô la cho mỗi triệu lượt không có suy luận của judge và 185 đô la khi có nó, và không thêm tổn thất thông lượng đo được nào bên trong SGLang.

    Vì sao đáng chú ý: Goodfire cho thấy một chuỗi probe-cộng-judge có thể giám sát lạm dụng không gian mạng tác tử với chi phí thấp hơn khoảng 50 lần mà không có tổn thất thông lượng đo được, một công thức cụ thể để phục vụ các mô hình mở một cách an toàn.

  1. OpenClaw Blog74

    Microsoft Autopilot được xây dựng trên OpenClaw, với các đóng góp theo cả hai chiều

    Microsoft đã giới thiệu Autopilot, một tác nhân cá nhân thường trực được xây dựng trên OpenClaw, như một phần trong trải nghiệm Copilot mới của hãng, với bản xem trước riêng tư sẽ mở rộng đến những khách hàng đầu tiên vào cuối tháng này. Autopilot là tên mới của Microsoft Scout, được công bố hồi đầu năm nay, và nhóm của Omar Shahine cho biết đang làm việc với OpenClaw và OpenClaw Foundation về một runtime cấp doanh nghiệp. OpenClaw nêu bật các đóng góp ngược dòng từ các kỹ sư Microsoft, bao gồm kiểm tra tuân thủ chính sách, một companion Windows gốc, và các bản sửa lỗi độ tin cậy cho các tác vụ nền, khởi động lại và phản hồi trùng lặp.

    Vì sao đáng chú ý: Autopilot của Microsoft được xây dựng trên OpenClaw, và các đóng góp ngược dòng được liệt kê ở đây cho thấy một runtime tác nhân dùng chung cải thiện như thế nào trên các nền tảng.

  1. OpenClaw Blog60

    OpenClaw bổ sung mô hình quyết định tùy chọn và giao diện Plugin SDK dùng chung

    OpenClaw đã giới thiệu hỗ trợ cho một mô hình quyết định được cấu hình riêng mà lõi và các plugin của nó có thể gọi thông qua api.runtime.decisions.evaluate trong Plugin SDK, trả về một lựa chọn, điểm số hoặc xác suất thay vì phản hồi trò chuyện. Tính năng này là tùy chọn và không thay thế mô hình trò chuyện, và các gói nhà cung cấp vẫn đang chờ một bản phát hành hỗ trợ. Bộ chuyển đổi TypeSafe hỗ trợ Jev được lưu trữ và một máy chủ System One cục bộ như Kev của Jared Palmer, và công cụ đánh giá đang được chuyển vào lõi OpenClaw với tên decision_evaluate.

    Vì sao đáng chú ý: OpenClaw bổ sung một lớp mô hình quyết định tùy chọn trả về câu trả lời có kiểu từ mã ứng dụng, với giao diện Plugin SDK dùng chung để các plugin có thể sử dụng mà không cần tích hợp riêng cho từng nhà cung cấp.

  1. MiniMax Blog71

    MiniMax phát hành Music 3.0, mô hình tạo nhạc trọng số mở cho các bài hát đầy đủ dài tới năm phút

    MiniMax giới thiệu Music 3.0, một mô hình tạo nhạc trọng số mở có khả năng sáng tác, phối khí và sản xuất một bài hát hoàn chỉnh dài tới năm phút từ một ý tưởng sáng tạo và phần lời tùy chọn trong một lần tạo. Pipeline kết hợp một Global LLM 8B được khởi tạo từ Qwen3.5-8B với một Local LLM 0.6B, hợp nhất các trạng thái ẩn liên tục của chúng để điều kiện hóa một mô-đun flow-matching 2.4B và một Flow-VAE 123M, đồng thời sử dụng RVQ tám lớp cùng Structured Captions mô tả cảm xúc, nhạc cụ và cách thể hiện giọng hát theo thời gian. MiniMax cho biết điều này mang lại khả năng diễn giải ý định sáng tạo chính xác hơn, phối khí đầy đủ hơn và giọng hát rõ ràng, tự nhiên hơn.

    Vì sao đáng chú ý: Phân tích kiến trúc của MiniMax cho thấy cách một Global LLM 8B kết hợp với một mô hình cục bộ 0.6B và ngăn xếp flow-matching nhắm giải quyết vấn đề mạch lạc của bài hát dài.

  1. Modal Blog75

    Kimi K3 của Moonshot hiện đã có trên Modal với hỗ trợ vLLM ngay ngày đầu

    Modal đã đưa Kimi K3 của Moonshot lên nền tảng của mình ngay trong ngày phát hành, cung cấp mô hình đa phương thức 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token thông qua Shared API tính phí theo token và các Auto Endpoint chuyên dụng. Modal cho biết một DFlash speculator tùy chỉnh được điều chỉnh cho kiến trúc của K3 giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây và thông lượng từ 800k lên 1,5 triệu TPM mỗi GPU trên các khối lượng công việc agentic. Mô hình sử dụng thiết kế mixture-of-experts với 16 trong số 896 expert hoạt động mỗi token, và Moonshot đã đóng góp một triển khai prefix-caching mới cho vLLM trước khi phát hành.

    Vì sao đáng chú ý: Modal trình bày chi tiết cách họ đưa Kimi K3 2,8 nghìn tỷ tham số của Moonshot lên nền tảng của mình ngay trong ngày phát hành, bao gồm một DFlash speculator tùy chỉnh giúp tăng khả năng tương tác từ 100 lên 460 token mỗi giây.

  1. Modal Blog60

    Modal ra mắt Auto Endpoints cho suy luận LLM tự phục vụ, tương thích API OpenAI

    Modal ra mắt Auto Endpoints, một dịch vụ tự phục vụ triển khai suy luận LLM cấp sản xuất dưới dạng endpoint tương thích API OpenAI, được hỗ trợ bởi một Modal App mà người dùng có thể xem và kiểm soát. Mỗi mô hình được hỗ trợ đi kèm một bản triển khai khởi điểm được tinh chỉnh từ hoạt động benchmark của chính Modal, sử dụng các engine như SGLang và DFlash speculative decoding drafter từ Z Lab, và người dùng có thể kiểm tra lựa chọn GPU, cờ engine và các chỉ số suy luận như TTFT, ITL và độ dài chấp nhận giải mã suy đoán. Modal cũng phát hành Modal Servers từ bản beta cho định tuyến theo khu vực với chi phí 5ms, và cho biết họ tạo ra các bản triển khai endpoint bằng một hệ thống agentic nội bộ vẫn được các kỹ sư con người giám sát.

    Vì sao đáng chú ý: Auto Endpoints của Modal phơi bày ngăn xếp phục vụ, các chỉ số engine và công thức benchmark mà các nhà cung cấp suy luận được quản lý vẫn giữ kín, mang đến cho các đội một con đường tự phục vụ để sở hữu suy luận mô hình mở.

  1. Modal Blog60

    Modal phát hành DFlash speculators cho Qwen 3.5 và 3.6, tuyên bố tăng tốc thêm 5-20%

    Modal đã phát hành một bộ mô hình draft DFlash cho dòng Qwen trên Hugging Face, bao gồm Qwen 3.6 35B-A3B-DFlash và các biến thể Qwen 3.5 từ 4B đến 122B-A10B, cùng một DFlash speculator cho Qwen 3.5 397B-A17B được xây dựng với SGLang. Công ty cho biết các drafter mới tăng tốc thêm 5-20% so với các baseline DFlash hiện có và có thể chạy Qwen 3.5 122B-A10B ở tốc độ hơn 1000 tok/s tại concurrency 1 trên một node B200, so với 250 tok/s khi không có speculation. Bài viết lập luận rằng speculative decoding mang lại mức tăng 2x-3x trong khi tối ưu kernel chỉ mang lại vài phần trăm, và trình bày một mô hình roofline để ước tính mức tăng tốc từ độ dài chấp nhận.

    Vì sao đáng chú ý: Modal giải thích lý do họ đặt cược vào speculative decoding và phát hành các mô hình draft DFlash cho dòng Qwen, kèm theo mức tăng tốc đo được và một mô hình roofline để ước tính lợi ích.

  1. MiniMax Blog87

    MiniMax M3 ra mắt với ngữ cảnh 1M, lập trình tiên tiến và đa phương thức gốc

    MiniMax đã phát hành M3, một mô hình trọng số mở mà họ nói là mô hình đầu tiên kết hợp hiệu năng lập trình và tác nhân tiên tiến, cửa sổ ngữ cảnh 1 triệu token, và đầu vào hình ảnh và video gốc. M3 sử dụng kiến trúc chú ý thưa MSA mới của MiniMax, mà công ty báo cáo cắt giảm tính toán mỗi token ở ngữ cảnh 1M xuống còn 1/20 so với thế hệ trước và tăng tốc prefill hơn 9 lần và giải mã hơn 15 lần. Nó đạt 59,0% trên SWE-Bench Pro, 66,0% trên Terminal-Bench 2.1 và 74,2% trên MCP Atlas, và có sẵn thông qua MiniMax Code, Token Plan và API, với trọng số và báo cáo kỹ thuật được hứa hẹn trong vòng 10 ngày.

    Vì sao đáng chú ý: MiniMax M3 kết hợp ngữ cảnh 1 triệu token, điểm số lập trình và tác nhân tiên tiến, và đầu vào hình ảnh và video gốc trong một mô hình trọng số mở, với MSA cắt giảm tính toán mỗi token ở ngữ cảnh dài.

  1. Modal Blog78

    Modal ra mắt endpoint miễn phí cho GLM-5 và phát hành hướng dẫn tự triển khai cùng tích hợp frontend

    Modal giới thiệu endpoint tương thích OpenAI API miễn phí cho GLM-5, dùng được đến cuối tháng 4, giới hạn một yêu cầu đồng thời, đồng thời phát hành mã có thể tái lập để triển khai bằng SGLang trên 8 GPU B200 trong một nút đơn.

    Vì sao đáng chú ý: Modal cung cấp endpoint tương thích OpenAI miễn phí cho GLM-5 của Z.ai, và đưa ra cấu hình cụ thể để tích hợp trong OpenCode, OpenClaw, Claude Code và Vercel AI SDK.

Bạn đã xem hết