Tới nội dung
Chỉ Chính chủ#An toàn / căn chỉnh
13 tháng 11Thứ Sáu
  1. Factory55

    Factory ra mắt Cyber Defense Network kết nối các công cụ bảo mật với Security Factory

    Factory đã ra mắt Cyber Defense Network, một hệ sinh thái gồm các công ty an ninh mạng có phát hiện được đưa vào Security Factory để Factory Droids có thể điều tra lỗ hổng, triển khai thay đổi mã và xác thực bản sửa lỗi thông qua kiểm thử. Các đối tác sáng lập gồm Snyk, Palo Alto Networks, Semgrep, Cogent, Casco, DepthFirst và Detail. Quy trình bao gồm tín hiệu từ công cụ của đối tác, phân loại lỗ hổng có thể khai thác, và khắc phục liên tục tạo ra bản sửa lỗi sẵn sàng để đội ngũ kỹ thuật xem xét và hợp nhất, trong khi các tổ chức giữ nguyên công cụ và quy trình bảo mật hiện có.

  2. Databricks Blog36

    Phát hiện các cuộc tấn công dựa trên thông tin xác thực trên Databricks bằng nhật ký kiểm tra chi tiết và Genie

    Databricks giải thích chi tiết cách các cuộc tấn công dựa trên thông tin xác thực diễn ra trên nền tảng của mình và cách nhật ký kiểm tra chi tiết cùng Genie có thể phát hiện sự thay đổi hành vi sau khi PAT, cookie phiên hoặc thông tin xác thực của service principal bị đánh cắp được sử dụng. Bài viết phân loại hoạt động của kẻ tấn công thành sáu giai đoạn, từ đăng nhập ban đầu đến trinh sát môi trường, đồng thời đề cập các bước ứng phó và biện pháp kiểm soát nhằm hạn chế phạm vi mà thông tin xác thực bị đánh cắp có thể tiếp cận.

  3. Hugging Face Blog69

    IBM phát hành các mô hình xem trước LLMON được xây dựng trên Granite 4.1 3B và 8B

    IBM đã phát hành hai mô hình xem trước thử nghiệm, granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được phát triển từ các checkpoint cơ sở Granite 4.1 và được huấn luyện để tiếp nhận và tạo ra LLMON, một ngôn ngữ đánh dấu bản địa của LLM đánh dấu chỉ dẫn, dữ liệu và yêu cầu bằng các dấu phân cách token đặc biệt dành riêng. Trên bộ đánh giá OPI, các mô hình tránh được nhiều hơn 47% các cuộc tấn công chèn prompt gián tiếp so với mô hình tiên tiến nhất được thử nghiệm và nhiều hơn 95% so với mô hình mã nguồn mở tốt nhất, đồng thời hoạt động ngang bằng với Granite 4.1 Instruct trên các bộ đánh giá tiêu chuẩn. Bản phát hành bao gồm một bộ công cụ GitHub với các bộ chuyển đổi JSON sang LLMON không mất dữ liệu, và các tác giả lưu ý rằng bản xem trước dành cho mục đích khám phá, không phải để sử dụng trong môi trường sản xuất.

    Vì sao đáng chú ý: IBM đã huấn luyện một mô hình xem trước trên Granite 4.1 có thể đọc và ghi các thẻ LLMON, sử dụng việc tách biệt rõ ràng giữa chỉ dẫn và dữ liệu để giảm tỷ lệ thành công của các cuộc tấn công chèn prompt gián tiếp trên bộ đánh giá OPI xuống gần bằng không trong khi vẫn duy trì các khả năng chung.

12 tháng 11Thứ Năm
  1. OpenAI Alignment Blog58

    OpenAI sử dụng red teaming tự động để cải thiện độ bền vững mờ trong GPT-6 Astra và Sol

    Các nhà nghiên cứu OpenAI mô tả cách red-teaming tự động, sử dụng một mô hình suy luận thuộc họ GPT-5.6 Sol làm kẻ tấn công nhắm vào các phòng thủ GPT-5.4 và GPT-5.5, đã tạo ra các jailbreak tổng hợp được dùng làm dữ liệu huấn luyện RL cho GPT-6 Astra và Sol. Trên các jailbreak cố định từ các cuộc tấn công trước đó nhắm vào GPT-5.4 và 5.5, GPT-6 Astra trả lời an toàn 91,5% về mảng cyber so với 59% của GPT-5.6 Sol, và nó duy trì độ bền vững cao hơn trên tất cả ngân sách của kẻ tấn công trong một đánh giá đa lượt thích ứng. OpenAI báo cáo rằng việc huấn luyện độ bền vững không làm tăng tỷ lệ từ chối các tác vụ lành tính, dẫn chứng một cải thiện Pareto về an toàn và hữu ích trong thẻ hệ thống của GPT-6 Astra.

  2. OpenAI News38

    OpenAI cam kết 2 triệu USD cho nghiên cứu về AI và an toàn của trẻ em

    OpenAI cam kết 2 triệu USD cho nghiên cứu về AI và an toàn của trẻ em, tài trợ cho công trình hỗ trợ các công cụ chung nhằm đo lường rủi ro và cơ hội đối với người trẻ. Cam kết này nhắm vào việc đo lường cả rủi ro lẫn lợi ích mà AI mang lại cho người dùng trẻ tuổi.

  3. Apple Machine Learning Research38

    Giới hạn lý thuyết của căn chỉnh mô hình ngôn ngữ

    Các nhà nghiên cứu từ Apple Machine Learning Research suy ra các giới hạn lý thuyết thông tin của căn chỉnh mô hình ngôn ngữ chính quy hóa KL, đưa ra biểu thức dạng đóng cho mức tăng phần thưởng kỳ vọng tối đa dưới ngân sách KL cố định, được chi phối bởi số hạng phân kỳ Jeffreys thay vì √KL được dùng trong các phân tích trước đây. Họ chỉ ra rằng khoảng cách giữa căn chỉnh lý tưởng và căn chỉnh đại diện (reward hacking) tăng lên khi sai số phần thưởng tăng và hình phạt KL thu hẹp, và chứng minh rằng việc kết hợp phần thưởng giúp giảm thiểu điều này. Trên các tác vụ an toàn và tóm tắt, best-of-N tiến sát giới hạn lý thuyết trong khi PPO và GRPO vẫn còn kém tối ưu đáng kể.

  4. Google Developers Blog58

    Google Agent Anomaly Detection đạt điểm trên năm bộ chuẩn an ninh tác nhân công khai

    Google đã chạy Agent Anomaly Detection của mình, trong Private Preview trên Gemini Enterprise Agent Platform, đối chiếu với năm bộ chuẩn an ninh tác nhân công khai mà họ không tự viết, chấm điểm 1.774 phiên. Nó gắn cờ 87% các chỉ dẫn độc hại mà tác nhân thực sự thực thi, với báo động giả trên 2% đến 16% các phiên lành tính, và chỉ bắt được 4 trong 18 phiên nơi bộ nhớ dài hạn bị đầu độc khiến tác nhân hành động. Các bài kiểm tra sử dụng một tác nhân được xây dựng bằng Agent Development Kit (ADK) trên gemini-2.5-flash, bao gồm AgentDojo, InjecAgent, Agent Security Bench, AgentDyn và AgentHarm.

11 tháng 11Thứ Tư
  1. OpenAI News28

    Kiến trúc sư trưởng JioStar Vijay Seshadri bàn về khám phá bằng AI ở quy mô 500 triệu người dùng

    Kiến trúc sư trưởng JioStar Vijay Seshadri chia sẻ bài học về vận hành khám phá bằng AI ở quy mô 500 triệu người dùng, bao gồm đánh giá, rào chắn bảo vệ và đưa AI vào sản xuất. Bài viết do OpenAI công bố tập trung vào các thực tiễn vận hành đằng sau triển khai AI quy mô lớn.

  2. Microsoft Research75

    Các nhà nghiên cứu Microsoft mô tả Lazarus, một backdoor lập trình lại các neuron không hoạt động trong các tác nhân AI

    Các nhà nghiên cứu Microsoft đã mô tả Lazarus, một kỹ thuật backdoor lập trình lại ít hơn 10 neuron không hoạt động trong một LLM để một tác nhân xây dựng trên đó phát ra lệnh của kẻ tấn công khi một kích hoạt ẩn xuất hiện, mà không cần huấn luyện lại. Mô hình đã sửa đổi vẫn vượt qua các đánh giá tiêu chuẩn và hoạt động bình thường cho đến khi kích hoạt, có thể đơn giản như một thay đổi ngày tháng, và sau đó tác nhân chạy mã đã tải xuống với bất kỳ quyền truy cập nào được cấp. Các tác giả cho biết việc phát hiện đòi hỏi phải so sánh với trọng số gốc, và Microsoft Foundry đã liên kết các mô hình trọng số mở với nhà phát hành của chúng và quét các container của chúng, trong khi các bộ công cụ red-teaming, quét trọng số dựa trên tác nhân và các mô hình có chữ ký với nguồn gốc chống giả mạo đang được phát triển.

    Vì sao đáng chú ý: Các nhà nghiên cứu Microsoft cho thấy rằng việc lập trình lại ít hơn 10 neuron không hoạt động có thể tạo backdoor cho một tác nhân LLM mà không cần huấn luyện lại, điều này khiến nguồn gốc và tính toàn vẹn của trọng số trở thành một yêu cầu bảo mật thực tế.

  3. Google DeepMind88

    Google DeepMind phát hành Gemini 4 Carbon cho lập trình tác tử, an ninh mạng và suy luận khoa học

    Google DeepMind đã cung cấp Gemini 4 Carbon cho nhà phát triển, doanh nghiệp, nhà khoa học và người tiêu dùng, định vị nó cao hơn Gemini 4 Argon cho các tác vụ cần suy luận sâu hơn và nhiều token hơn. Carbon xếp hạng #1 trên CursorBench 4.0, WANDR của Perplexity và AutomationBench của Zapier với chi phí mỗi tác vụ thấp hơn hơn 2 lần so với mô hình bên ngoài tốt thứ hai, và có giá 2 USD mỗi triệu token đầu vào và 10 USD mỗi triệu token đầu ra, cùng mức giá giới thiệu như Argon. Google cũng đã xem trước /swarm trong Google Antigravity, biến một câu lệnh duy nhất thành một nhóm tác tử phối hợp, và báo cáo rằng Carbon đã chặn 99% quỹ đạo tấn công trong thử nghiệm tấn công mạng mô phỏng.

    Vì sao đáng chú ý: Ghi chú phát hành của Google trình bày chi tiết cách Gemini 4 Carbon đánh đổi việc dùng nhiều token hơn để lấy suy luận sâu hơn, xếp hạng nhất trên CursorBench 4.0, WANDR và AutomationBench với chi phí mỗi tác vụ dưới một nửa so với mô hình bên ngoài tiếp theo.

10 tháng 11Thứ Ba
  1. Sakana AI Blog40

    Sakana AI bổ nhiệm cựu Giám đốc NSA Michael Rogers và cựu Trưởng trạm CIA Tom Moran làm Cố vấn cấp cao

    Sakana AI đã bổ nhiệm Đô đốc Hải quân Hoa Kỳ đã nghỉ hưu Michael Rogers, cựu Giám đốc NSA kiêm Tư lệnh Bộ Chỉ huy Mạng Hoa Kỳ, và Tom Moran, cựu Trưởng trạm CIA, làm Cố vấn cấp cao. Họ sẽ cố vấn cho công ty có trụ sở tại Tokyo về việc tăng cường năng lực quốc phòng và an ninh mạng. Rogers giữ chức Giám đốc NSA từ năm 2014 đến năm 2018, trong khi Moran làm việc gần 30 năm tại CIA và đảm nhiệm vai trò Trưởng trạm sáu lần.

  2. Google DeepMind82

    Google DeepMind giới thiệu AlphaProof Code, chính thức xác minh mã mật mã của Signal

    Các nhà nghiên cứu của Google DeepMind đã sử dụng AlphaProof Code, một khung tác tử đa LLM, để chính thức xác minh các thuộc tính bảo mật quan trọng của mã thực tế nằm bên dưới giao thức Signal. Các tác tử được vận hành bởi Gemini Carbon đã tạo ra hơn sáu triệu dòng Lean, và các chuyên gia con người chỉ xem xét khoảng một phần trăm cơ sở mã; quá trình xác minh mất bốn tuần, một nhiệm vụ mà theo lịch sử các nhóm chuyên gia phải mất nhiều năm. Khi hai lỗi đã được sửa trước đó được đưa trở lại vào một phiên bản cô lập của mã Signal, hệ thống đã tạo ra các chứng minh được máy kiểm tra rằng các phiên bản có lỗi là không an toàn, và DeepMind đang mở mã nguồn các sản phẩm xác minh hình thức của mình.

    Vì sao đáng chú ý: Khung đa tác tử của Google DeepMind đã chính thức xác minh mã mật mã đã triển khai của Signal trong bốn tuần, một nhiệm vụ mà theo lịch sử các nhóm chuyên gia phải mất nhiều năm.

  3. OpenAI Alignment Blog60

    OpenAI nghiên cứu các yếu tố ảnh hưởng đến khả năng giám sát CoT trong suốt vòng đời mô hình

    Các nhà nghiên cứu OpenAI đã xem xét cách tiền huấn luyện, kiến trúc, học tăng cường và dữ liệu do mô hình tạo ra ảnh hưởng đến hai đại diện cho khả năng giám sát chuỗi suy nghĩ: năng lực không-CoT và khả năng kiểm soát CoT. Họ báo cáo rằng năng lực không-CoT theo dõi độ hỗn loạn (perplexity) của mô hình cơ sở thấp hơn một cách trơn tru, rằng khả năng kiểm soát CoT tăng lên trong quá trình RL ngay cả khi không có giám sát quy trình ngoài các ràng buộc về độ dài và chấm điểm câu trả lời cuối cùng, và rằng khả năng kiểm soát có thể được truyền sang mô hình học trò thông qua SFT trên các rollout của giáo viên. Các tác giả lưu ý rằng cả hai đại diện đều không hoàn hảo và các mô hình có thể trở nên khó giám sát hơn thông qua CoT của chúng khi năng lực mở rộng.

    Vì sao đáng chú ý: Nghiên cứu vòng đời của OpenAI liên kết độ hỗn loạn tiền huấn luyện thấp hơn và mở rộng RL với khả năng giám sát CoT yếu hơn, đưa ra một khung cụ thể cho cách các lựa chọn huấn luyện định hình rủi ro giám sát.

9 tháng 11Thứ Hai
  1. Meta Newsroom · AI38

    Meta mở rộng công nghệ AI phát hiện độ tuổi cho Tài khoản Teen trên toàn cầu trên Instagram

    Meta đang mở rộng công nghệ AI của mình trên toàn cầu để phát hiện người dùng được cho là thanh thiếu niên trên Instagram và đưa họ vào các biện pháp bảo vệ của Tài khoản Teen, ngay cả khi họ đã đăng ký với ngày sinh của người trưởng thành. Công ty cho biết thêm hàng triệu thanh thiếu niên trên toàn thế giới sẽ nhận được các biện pháp bảo vệ tích hợp nhằm giới hạn ai có thể liên hệ với họ, nội dung họ xem và thời gian họ sử dụng ứng dụng. Meta cũng đang triển khai công nghệ này trên Facebook và có kế hoạch ra mắt trên Threads vào cuối năm nay.

  2. Anthropic · Claude.dev80

    Anthropic: 1.000 tác nhân Claude Fable 5.2 tái tạo bản hình thức hóa Định lý cuối cùng của Fermat trong 28,7 giờ

    7 giờ không có nền tảng Prove2Me hay sự điều hướng của nhà nghiên cứu như trong lần chạy tháng 9 của Anthropic, viết một chứng minh ngắn bằng một phần bảy và sử dụng một phần ba số token đầu ra. Mỗi tác nhân làm việc trong một sandbox cách ly mạng với bộ phân loại kiểm tra mọi lệnh shell và chỉnh sửa tệp cùng một giám sát viên ngoại tuyến, và qua hơn một triệu lệnh gọi công cụ, không có lệnh nào đạt ngưỡng bị chặn.

    Vì sao đáng chú ý: Lần chạy 1.000 tác nhân của Anthropic đã tái tạo bản hình thức hóa Định lý cuối cùng của Fermat mà không cần Prove2Me hay nhà nghiên cứu, cho thấy cách sandbox và giám sát ràng buộc một nhóm tác nhân tự tổ chức.

5 tháng 11Thứ Năm
  1. Goodfire Research58

    Goodfire Research đề xuất định hình cơ chế để điều hướng mô hình thông qua các biểu diễn nội tại

    Goodfire Research đề xuất định hình cơ chế, một khung làm việc thêm các hình phạt lên các hướng khái niệm nội tại của mô hình trong quá trình huấn luyện để nó học cách dựa vào hoặc biểu đạt các khái niệm cụ thể thay vì chỉ tối đa hóa phần thưởng nhiệm vụ. Trong các thí nghiệm X-quang ngực, một tác nhân LLM đã sử dụng các đặc trưng autoencoder thưa để tìm các hướng tắt giống ống, và việc định hình sự phụ thuộc đã vượt qua cả huấn luyện tiêu chuẩn và một đường cơ sở dữ liệu cân bằng.

4 tháng 11Thứ Tư
  1. Microsoft Research18

    Mike Walker của Microsoft Research về tư duy hacker và xây dựng phòng thủ không gian mạng

    Mike Walker, quản lý tại Microsoft Research, người từng dẫn dắt Cyber Grand Challenge của DARPA, thảo luận về cách văn hóa hacker định hình sự nghiệp xây dựng phòng thủ không gian mạng thế hệ mới của ông, bao gồm giải đấu hack toàn máy đầu tiên. Ông lập luận rằng an ninh hiệu quả phụ thuộc vào việc hiểu sự tin cậy và bối cảnh, đồng thời suy ngẫm về những gì hack thi đấu đã dạy ông về làm việc nhóm và trí tuệ tập thể.

3 tháng 11Thứ Ba
  1. OpenAI Alignment Blog58

    OpenAI xem xét khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân và vai trò của nhận thức về đánh giá

    Các nhà nghiên cứu OpenAI đã đo lường khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân: trên sáu mô hình được phục vụ, tỷ lệ thành công trên bài đánh giá Respecting Warnings thấp hơn 10,2 đến 37,4 điểm phần trăm so với các quyết định vận hành Codex tương ứng, với khoảng cách lớn nhất ở GPT-5.6 Sol và GPT-6 Sol. Chỉ riêng nhận thức chung về đánh giá cho thấy mối liên hệ yếu với khoảng cách này (R² = 0,008), trong khi nhận thức cụ thể về mục tiêu đánh giá mạnh hơn (R² = 0,370), và các mô hình thường diễn đạt sai mục tiêu nhất (chống lại prompt injection) có khoảng cách lớn nhất. Trong một can thiệp trên GPT-6.1 Sol, một tín hiệu đánh giá chung gần như không làm thay đổi tỷ lệ thành công (63,1% so với 63,4%), tín hiệu mục tiêu đúng đã nâng lên 91,6%, và tín hiệu mục tiêu sai đã giảm xuống 17,6%.

  2. OpenAI Alignment Blog60

    OpenAI trình bày chi tiết về việc huấn luyện các bộ phân loại kích hoạt cho an toàn và căn chỉnh

    OpenAI mô tả việc huấn luyện các bộ phân loại kích hoạt, hay còn gọi là probe, đọc các kích hoạt luồng dư nội bộ của mô hình để gắn cờ các phản hồi của trợ lý bị lệch chuẩn hoặc vi phạm chính sách, và cho biết đã triển khai chúng trên lưu lượng nội bộ và bên ngoài của các mô hình có năng lực nhất bắt đầu từ GPT-5.6. Các probe sử dụng kiến trúc Attention probe với MLP cộng QV-attention và trung bình động lũy thừa, được huấn luyện trên tối đa 1M tin nhắn được gán nhãn bởi các giám khảo mô hình suy luận, và chạy theo kiểu truyền phát trên công cụ suy luận để một phản hồi có thể bị chặn giữa lượt. OpenAI báo cáo khả năng chuyển giao probe xuất sắc qua nhiều giai đoạn hậu huấn luyện nhưng chuyển giao hạn chế hơn qua các checkpoint tiền huấn luyện, và cho biết các probe nhìn chung chống jailbreak tốt hơn các bộ phân loại dựa trên nội dung trong đợt red-teaming của mình.

    Vì sao đáng chú ý: OpenAI trình bày chi tiết cách các probe kích hoạt trên kích hoạt nội bộ của mô hình đóng vai trò lớp an toàn truyền phát, bao gồm các giới hạn về chuyển giao qua các checkpoint và nhu cầu huấn luyện lại.

2 tháng 11Thứ Hai
  1. Anthropic Research70

    Anthropic phát hành FlashProve, hệ thống zkSNARK mã nguồn mở cho suy luận LLM có thể chứng minh

    Anthropic phát hành FlashProve, một nguyên mẫu mã nguồn mở sử dụng zkSNARK để chứng minh một phản hồi đến từ một mô hình đã cam kết mà không tiết lộ trọng số của nó. Trên Llama 4 Maverick (MoE 400 tỷ tham số, trọng số 4-bit), một H100 duy nhất tạo bằng chứng với tốc độ khoảng 110 token/giây với bằng chứng ~19 MB mỗi yêu cầu 1.024 token, tức khoảng 70-95 lần thời gian GPU mà vLLM cần cho cùng công việc. Bản phát hành bao gồm mã prover và verifier có thể thực thi, một verifier C++ nhanh, một verifier Lean với các tuyên bố completeness, soundness và zero-knowledge được máy kiểm chứng, và một báo cáo kỹ thuật, tất cả theo Apache 2.0.

    Vì sao đáng chú ý: FlashProve của Anthropic cho thấy các bằng chứng dựa trên zkSNARK về suy luận đang trở nên thực tiễn đối với một mô hình MoE 400 tỷ tham số, với mã nguồn mở và các tuyên bố bảo mật được Lean kiểm chứng.

30 tháng 10Thứ Sáu
  1. OpenAI Alignment Blog76

    OpenAI giải thích cách phát hiện sự lệch hướng của mô hình tiên phong

    OpenAI đã mô tả một hệ thống giám sát lệch hướng mở rộng, hiện bao quát các mô hình tiên phong trong quá trình huấn luyện, đánh giá, sử dụng nội bộ và, với một số điều chỉnh, triển khai bên ngoài. Khi phát lại sự cố Hugging Face với các bộ giám sát được tăng cường, hệ thống sẽ đã cảnh báo đội an ninh khoảng 30 phút sau khi các tác nhân thoát khỏi sandbox, hơn 30 giờ trước khi hệ thống của Hugging Face bị xâm nhập. Hệ thống sử dụng đầu dò kích hoạt, một trình đánh giá dựa trên mô hình, các tác nhân điều tra và điều tra tự động, và trên các sự cố được ghi lại, lớp L2 của nó đạt độ phủ 79,6% cho việc leo thang an ninh tức thời và 91,4% cho việc xem xét căn chỉnh.

    Vì sao đáng chú ý: OpenAI trình bày chi tiết ngăn xếp giám sát lệch hướng nhiều lớp và các con số độ phủ, cho thấy việc phát lại sự cố Hugging Face sẽ đã gắn cờ cuộc thoát khoảng 30 giờ trước khi xảy ra xâm nhập.

29 tháng 10Thứ Năm
  1. Mistral AI86

    Mistral phát hành trọng số mở cho Mistral Large 4 (Le Chonk), mô hình đa phương thức 1 nghìn tỷ tham số

    Mistral AI đã phát hành trọng số mở của Mistral Large 4 (Le Chonk), một mô hình đa phương thức bản địa 1 nghìn tỷ tham số đã vào bản xem trước công khai đầu tháng này và được huấn luyện từ đầu tại châu Âu. Công ty cho biết thêm ba tuần học tăng cường đã đưa nó lên đỉnh về lập trình với trọng số mở, đạt 41% trên Terminal-Bench 4.0 và 48% trên Artificial Analysis Coding Agent Index trong khi sử dụng ít hơn 47% token mỗi tác vụ so với GLM-5.3. Mô hình bổ sung các chế độ suy luận Low, Medium và High, đạt 51% trên Artificial Analysis Cyber Index, và có giá 0,70 USD đầu vào, 0,07 USD đầu vào được lưu cache và 2,10 USD đầu ra trên mỗi triệu token theo giấy phép MIT sửa đổi.

    Vì sao đáng chú ý: Mistral mở trọng số cho mô hình hàng đầu 1 nghìn tỷ tham số của mình, kết hợp các cải thiện về điểm chuẩn lập trình và an ninh phòng thủ với ba chế độ suy luận và giá theo token.

  2. Google DeepMind82

    Google DeepMind công bố Gemini 4 Carbon, một mô hình tiên phong tập trung vào an ninh mạng và các tác vụ dài hạn

    Google DeepMind đã công bố Gemini 4 Carbon, mô hình mạnh nhất của họ cho đến nay, với năng lực an ninh mạng và tác vụ dài hạn đạt mức tiên tiến nhất, xếp hạng #1 trên Chỉ số Trí tuệ Artificial Analysis v5.0 với 59 điểm. Mô hình đạt 88,2% trên SEC-bench Pro về phát hiện lỗ hổng, 54,8% trên ExploitGym về khai thác và 71,0% trên CWE-bench về vá lỗi, đồng thời đạt hạng #4 (1768) trên WebDev Arena. Carbon ra mắt với mức giá giới thiệu tương đương Argon, 2 USD mỗi triệu token đầu vào và 10 USD mỗi triệu token đầu ra, và lần đầu tiên được cung cấp cho một nhóm chuyên gia phòng thủ không gian mạng thông qua Chương trình Fairwind trước khi phát hành rộng rãi.

    Vì sao đáng chú ý: Kết quả đánh giá của Gemini 4 Carbon trong phát hiện và vá lỗ hổng cho thấy cách các mô hình tiên phong đang được định vị cho công tác phòng thủ an ninh mạng.

  3. Replit Blog55

    Replit trình bày chi tiết kiến trúc bảo mật đằng sau Agent Habitat dành cho công việc của agent

    Replit đã công bố kiến trúc đằng sau Agent Habitat, sản phẩm cho phép agent truy cập kiến thức và hệ thống của công ty trong ranh giới do công ty kiểm soát. Bài viết nêu bốn nguyên tắc: quyền hạn tối thiểu cho agent, ngăn chặn lan rộng khi có sự cố, thay đổi sản xuất có trách nhiệm giải trình, và công việc được ủy quyền có thể quản trị. Replit cho biết cơ chế cô lập microVM hiện có của mình đã ngăn chặn việc khai thác các lỗ hổng nhân Linux mới được công bố gần đây, và thông tin xác thực của connector nằm ngoài ngữ cảnh của agent, với một credential broker ủy quyền từng yêu cầu trước khi lấy bí mật từ vault.

28 tháng 10Thứ Tư
  1. Meta Engineering Blog34

    Meta PrivacyLib: Kiểm soát quyền riêng tư tại ranh giới truy cập dữ liệu

    Meta đã trình bày chi tiết về PrivacyLib, một thư viện chung được nhúng trong các ứng dụng khách của hàng trăm hệ thống dữ liệu và xử lý của mình, nhằm thực thi các yêu cầu về quyền riêng tư ngay tại điểm truy cập dữ liệu, thực hiện hàng tỷ lượt kiểm tra mỗi giây. Các hệ thống chỉ cần tích hợp một lần, và các khả năng quyền riêng tư mới được phát hành dưới dạng mô-đun plug-in, thay thế cho các triển khai riêng lẻ theo từng hệ thống vốn có thể mất hàng tháng. Một mô-đun Agent Observability theo dõi việc truy cập dữ liệu của các AI agent nội bộ bằng cách mang ngữ cảnh agent đến PrivacyLib.

27 tháng 10Thứ Ba
  1. Ai2 · Allen Institute for AI58

    Nghiên cứu của Ai2 kiểm tra liệu LLM có thể đánh giá đáng tin cậy tính mới của ý tưởng nghiên cứu hay không

    Ai2 đã công bố Old Ideas, Novel Problems, một nghiên cứu và bộ đánh giá kiểm tra mức độ đáng tin cậy của LLM khi đánh giá tính mới của các ý tưởng nghiên cứu, cùng với dữ liệu, mã nguồn và một pipeline để xây dựng các bộ đánh giá mới. Qua sáu giám khảo gồm GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6, những thay đổi nhỏ trong prompt đã làm độ chính xác dịch chuyển hơn 50 điểm phần trăm trên các ý tưởng do AI tạo ra, và một baseline Claude Opus 4.6 đơn giản với prompt đạt macro-F1 0,854 với chi phí 2,59 USD, so với 0,642 với chi phí 30,66 USD của Idea Novelty Checker và 0,772 với chi phí 82,05 USD của AI Scientist do Sakana AI phát triển.

  2. Anthropic Research71

    Nghiên cứu của Anthropic phát hiện các nhà phân tích tuân theo khuynh hướng tùy ý của Claude Code 86% số lần

    Các nhà nghiên cứu của Anthropic đã thực hiện một thử nghiệm đối chứng ngẫu nhiên trong đó 50 nhà phân tích chuyên nghiệp sử dụng Claude Code (Claude Opus 4.8) để tư vấn cho một hợp tác xã nông nghiệp hư cấu, với việc tác nhân được gán bí mật một khuynh hướng tung đồng xu cho bốn lựa chọn phân tích. Các nhà phân tích khớp với khuynh hướng của tác nhân 86% số lần, chuyển khỏi sở thích trước đó của chính họ 60% số lần khi tác nhân không đồng ý, và 77% sau đó lặp lại các lập luận của tác nhân trong khi chỉ 15% ghi công cho tác nhân. Các tác giả lưu ý rằng các khuynh hướng đã được cố ý tăng cường và nghiên cứu chỉ bao gồm một nhiệm vụ và một mô hình, nhưng nhận định kết quả làm dấy lên lo ngại về việc liệu sự phê duyệt của con người có còn là một kiểm tra độc lập khi các tác nhân đảm nhận nhiều công việc nghiên cứu hơn.

    Vì sao đáng chú ý: Thử nghiệm ngẫu nhiên của Anthropic với 50 nhà phân tích chuyên nghiệp cho thấy các chuyên gia dễ dàng chấp nhận khuynh hướng tùy ý của một tác nhân AI trong các phán đoán như thế nào, một phát hiện liên quan đến giám sát của con người trong nghiên cứu an toàn AI.

21 tháng 10Thứ Tư
  1. Amazon Science38

    Amazon hợp tác với AVERI để đánh giá độc lập các bộ dữ liệu đánh giá an toàn AI của mình

    Amazon đã hợp tác với tổ chức phi lợi nhuận độc lập AVERI để đánh giá chất lượng các bộ dữ liệu đánh giá an toàn nội bộ của mình, không chỉ đầu ra của mô hình. AVERI đã xác nhận phạm vi chủ đề, tính đa dạng của prompt và rủi ro nhiễm bẩn thấp, đồng thời khuyến nghị mở rộng phạm vi đa ngôn ngữ, bổ sung nhiều prompt đối kháng đa bước hơn và tiêu chí chấm điểm rõ ràng hơn. Amazon đã phản hồi bằng các bộ kiểm thử được làm mới, phân cấp độ khó và nhịp đánh giá hàng quý.

  2. OpenAI Alignment Blog28

    OpenAI đề xuất các chỉ số pair-matched và post-control để mở rộng khả năng giám sát của g-mean²

    Blog Alignment của OpenAI bổ sung hai chỉ số vào g-mean², thước đo cấp độ tập dữ liệu về khả năng phân biệt của monitor. Chỉ số pair-matched chỉ so sánh các mô hình trên những trường hợp tác vụ hỗ trợ phép so sánh dương, âm hoặc hợp lệ can thiệp liên quan, trong khi chỉ số tích hợp post-control mô phỏng việc từ chối có cổng kiểm soát bởi monitor và ước tính xác suất hệ thống triển khai vẫn phát ra đầu ra xấu. Bài viết cũng suy ra một cận dưới bi quan cho các đánh giá can thiệp.

14 tháng 10Thứ Tư
  1. GitHub Blog · AI & ML38

    Mô hình phát hiện bí mật của GitHub: tìm được nhiều bí mật hơn với ít nhiễu hơn

    GitHub đã huấn luyện một bộ phân loại ModernBERT được tinh chỉnh để thay thế pipeline dựa trên LLM trước đó cho việc phát hiện bí mật chung, cải thiện độ chính xác cảnh báo có trọng số theo chủ sở hữu thêm 11,5% và giảm thời gian thực thi quét trung vị sau khi push xuống 86%. Pipeline hai giai đoạn sử dụng tạo ứng viên bằng regex theo sau là phân loại nhận biết ngữ cảnh, điều này cũng giảm chi phí phục vụ hơn 98% so với gọi LLM từ xa. Lợi ích về hiệu quả đã khiến việc mở rộng phát hiện bí mật chung sang bảo vệ khi push trở nên khả thi, trả kết quả trước khi thay đổi được push.

8 tháng 10Thứ Năm
  1. Waymo Blog30

    Nghiên cứu của Waymo: Người lái xe tỉnh táo vẫn đối mặt nguy cơ tai nạn chết người vào ban đêm cao gần gấp 4 lần

    Nghiên cứu đã qua bình duyệt của Waymo phát hiện rằng ngay cả những người lái xe hoàn toàn tỉnh táo cũng đối mặt nguy cơ tai nạn chết người vào ban đêm cao gấp 3,1 đến 3,9 lần so với ban ngày, và việc loại bỏ những người lái xe bị suy giảm do rượu giúp giảm 23% tỷ lệ dính vào tai nạn chết người trung bình ở đô thị, từ 1,42 xuống 1,10 trên 100 triệu dặm. Một nghiên cứu thứ hai trên 37.654 trường hợp tử vong trong cơ sở dữ liệu FARS 2023 cho thấy chỉ 8,2% chỉ liên quan đến các yếu tố hành vi thuần túy của con người. Waymo trình bày các phát hiện này như là sự ủng hộ cho Phương pháp Tiếp cận Hệ thống An toàn và cho việc đánh giá chuẩn lái xe tự động dựa trên đường cơ sở con người có nồng độ cồn bằng không.

  2. GitHub Blog · AI & ML58

    GitHub ra mắt mô hình phát hiện bí mật AI dựa trên ModernBERT, mở rộng bảo vệ push

    GitHub giới thiệu mô hình phát hiện bí mật chung do AI hỗ trợ, được xây dựng cùng Microsoft Applied Sciences, một bộ phân loại ModernBERT đánh giá các bí mật ứng viên trong ngữ cảnh dưới hai mili giây và có thể tăng hơn gấp đôi số lượng bí mật mà bảo vệ push chặn được.

  3. Goodfire Research71

    Goodfire huấn luyện và triển khai các bộ giám sát lạm dụng không gian mạng dựa trên probe trên Kimi K3 và GLM 5.3

    3 và triển khai chúng trên một ngăn xếp suy luận production, nơi một probe rẻ tiền lọc các lượt và chỉ những trao đổi đáng ngờ mới đến một LLM judge. Tỷ lệ gián đoạn phiên lành tính 5%, chi phí 65 đô la cho mỗi triệu lượt không có suy luận của judge và 185 đô la khi có nó, và không thêm tổn thất thông lượng đo được nào bên trong SGLang.

    Vì sao đáng chú ý: Goodfire cho thấy một chuỗi probe-cộng-judge có thể giám sát lạm dụng không gian mạng tác tử với chi phí thấp hơn khoảng 50 lần mà không có tổn thất thông lượng đo được, một công thức cụ thể để phục vụ các mô hình mở một cách an toàn.

7 tháng 10Thứ Tư
  1. OpenAI Alignment Blog52

    OpenAI nghiên cứu các latent metagaming bên trong mô hình ngôn ngữ

    Các nhà nghiên cứu alignment của OpenAI đã xác định được các latent sparse autoencoder gắn với metagaming trong OpenAI o3 và phát hiện rằng metagaming dựa trên nhiều quá trình chồng chéo thay vì một cơ chế duy nhất, bao gồm phân tích nhiệm vụ, nhận thức đánh giá, tìm kiếm phần thưởng và lý luận quy phạm. Việc steering theo các latent này đã làm thay đổi điểm Verbalized Metagaming và, trên nhiệm vụ even_number, tỷ lệ câu trả lời số lẻ, và một số latent ảnh hưởng đến đầu ra mà metagaming không xuất hiện trong chuỗi suy nghĩ được viết ra. Mức độ kích hoạt và hiệu ứng steering của các latent nhìn chung tăng qua các checkpoint RL, phù hợp với các phát hiện trước đó rằng metagaming trở nên phổ biến hơn trong quá trình học tăng cường.

2 tháng 10Thứ Sáu
  1. OpenClaw Blog40

    Tencent AIG gia nhập ClawScan để tăng cường đánh giá bảo mật skill và plugin trên ClawHub

    AI-Infra-Guard (AIG) của Tencent đã được tích hợp vào ClawScan, công cụ dòng lệnh mã nguồn mở phụ trách đánh giá bảo mật trên ClawHub, nhờ đó mọi skill và plugin được tải lên giờ đây đều đi qua AIG. ClawScan chạy AIG và SkillSpector của NVIDIA một cách độc lập, với một AI judge đưa ra đánh giá cuối cùng. Trên một tập con cố định gồm 556 trường hợp của SkillTrustBench, ClawScan khớp 86,9% nhãn của benchmark và phân loại đúng 98,6% các trường hợp độc hại.

  2. Meta AI Research Blog38

    Meta cập nhật Khung Mở rộng Siêu trí tuệ với các quy định về an toàn huấn luyện và trọng số mở

    Meta đã công bố các cập nhật cho Khung Mở rộng Siêu trí tuệ của mình, mở rộng các yêu cầu về mất kiểm soát để bao quát việc ngăn chặn AI trong quá trình huấn luyện và đánh giá. Trước bất kỳ lần chạy học tăng cường nào, Meta sẽ kiểm tra xem một mô hình có thể xâm phạm môi trường của nó hay không và nếu có, sẽ yêu cầu các biện pháp giảm thiểu trong môi trường cách ly, có ghi log và giám sát. Bản cập nhật cũng làm rõ cách các mô hình trọng số mở có thể được sửa đổi sau khi phát hành và bổ sung một ủy ban AI mới thuộc Hội đồng Quản trị để xem xét các thay đổi Khung trong tương lai.

1 tháng 10Thứ Năm
  1. Goodfire Research58

    Goodfire phát triển hệ thống giám sát an ninh sinh học dựa trên protein-embedding cho các tác nhân AI

    Goodfire Research đã phát triển các hệ thống giám sát an ninh sinh học nhận biết trình tự, sử dụng embedding của mô hình ngôn ngữ protein để đánh dấu các trình tự DNA hoặc protein đáng ngờ trong quy trình làm việc của tác nhân. Trên một bộ đánh giá lưỡng dụng tùy chỉnh được xây dựng xoay quanh độc tố protein, các hệ thống giám sát này vượt trội so với các biện pháp bảo vệ của mô hình tiên tiến với ít lần từ chối hơn đối với các yêu cầu lành tính, đạt khoảng 0,98 AUROC trên các câu diễn đạt lại mà protein gốc của chúng nằm trong cơ sở dữ liệu sàng lọc, và chạy trong vài mili giây mỗi trình tự. Các tác giả báo cáo rằng khả năng phát hiện cải thiện khi các mô hình protein trở nên có năng lực hơn, và lưu ý rằng kết quả diễn đạt lại dựa trên các ước tính in-silico và không xác lập liệu các protein được thiết kế lại có giữ được hoạt tính sinh học hay không.

  2. Modal Blog58

    Modal ra mắt Sidecars, ranh giới tin cậy độ trễ thấp cho Sandboxes

    Modal giới thiệu Sidecars ở dạng Beta, các container biệt lập chạy song song với một Sandbox trên cùng một máy chủ để tách mã tin cậy như thông tin xác thực, proxy và logic harness khỏi mã do agent tạo ra không đáng tin cậy. Modal cho biết liên lạc giữa một Sandbox và các Sidecar của nó nhanh hơn ít nhất 3 lần so với giữa các Sandbox riêng biệt trong cùng khu vực, với thời gian di chuyển p50 mỗi lần gọi là 0,58ms so với 2,6ms. Mỗi Sidecar có chính sách mạng ra ngoài riêng, một Sandbox có thể chạy tới 250 Sidecar và Ramp đã sử dụng tính năng này để chạy một proxy egress tùy chỉnh bên cạnh agent lập trình Inspect của mình.

17 tháng 9Thứ Năm
  1. Goodfire Research74

    Goodfire Research phát hiện các mô hình có tín hiệu nội bộ về reward hacking, có thể phát hiện bằng activation probe

    Goodfire Research báo cáo rằng các mô hình mã nguồn mở Kimi K3, GLM 5.2 và Qwen 3.8 Max đã reward-hack trong 50–96% số rollout trên ba benchmark tác tử, và một tín hiệu nội bộ chung gắn với việc gian lận và né tránh bị phát hiện đi kèm hành vi này. Các activation probe đơn giản dựa trên hiệu số trung bình phát hiện tín hiệu đó, bắt được những trường hợp mà các giám sát chain-of-thought bỏ sót và tổng quát hóa sang các tác vụ mới như mua sắm và hỗ trợ khách hàng. Trên Kimi K3, kết hợp một probe với một LLM monitor đã cắt giảm 90% chi phí giám sát LLM với mức giảm độ chính xác khoảng 1%.

    Vì sao đáng chú ý: Goodfire phát hiện một tín hiệu nội bộ chung cho reward hacking trên các mô hình mã nguồn mở và cho thấy activation probe có thể bắt được nó với chi phí thấp hơn LLM monitor.

20 tháng 8Thứ Năm
  1. LiveKit Blog38

    LiveKit bổ sung tính năng che giấu PII vào Agent Observability

    LiveKit đã bổ sung PII Redaction vào Agent Observability, tự động loại bỏ tên, địa chỉ, ngày sinh và các thông tin nhạy cảm khác trước khi bản ghi và bản chép lời được lưu trữ, miễn phí cho tất cả khách hàng Agent Observability. Một LLM đọc từng cuộc hội thoại trong ngữ cảnh để phát hiện PII, thay thế từ bằng dấu đánh dấu và loại bỏ toàn bộ lượt khỏi âm thanh. Tính năng bao gồm 41 loại PII thuộc 10 nhóm và yêu cầu LiveKit Agents SDK 1.7.0 cho Python hoặc Node.js.