ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#Agent
  1. Microsoft Research75

    นักวิจัย Microsoft อธิบาย Lazarus แบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยใหม่ในเอเจนต์ AI

    นักวิจัย Microsoft อธิบาย Lazarus เทคนิคแบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใน LLM ใหม่ เพื่อให้เอเจนต์ที่สร้างบนโมเดลนั้นส่งคำสั่งของผู้โจมตีออกมาเมื่อทริกเกอร์ที่ซ่อนอยู่ปรากฏ โดยไม่ต้องฝึกใหม่ โมเดลที่ถูกแก้ไขยังผ่านการประเมินมาตรฐานและทำงานปกติจนกว่าทริกเกอร์จะทำงาน ซึ่งอาจง่ายเพียงการเปลี่ยนวันที่ จากนั้นเอเจนต์จะรันโค้ดที่ดาวน์โหลดมาด้วยสิทธิ์การเข้าถึงที่ได้รับ ผู้เขียนระบุว่าการตรวจจับต้องเปรียบเทียบกับน้ำหนักต้นฉบับ และ Microsoft Foundry เชื่อมโยงโมเดล open-weight กับผู้เผยแพร่และสแกนคอนเทนเนอร์ของโมเดลอยู่แล้ว ขณะที่ชุดทดสอบ red-teaming การสแกนน้ำหนักแบบเอเจนต์ และโมเดลที่ลงนามพร้อมแหล่งที่มาที่ตรวจจับการแก้ไขได้อยู่ระหว่างการพัฒนา

    ทำไมเรื่องนี้สำคัญ: นักวิจัย Microsoft แสดงให้เห็นว่าการตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใหม่สามารถฝังแบ็กดอร์ในเอเจนต์ LLM ได้โดยไม่ต้องฝึกใหม่ ซึ่งทำให้แหล่งที่มาและความสมบูรณ์ของน้ำหนักกลายเป็นข้อกำหนดด้านความปลอดภัยในทางปฏิบัติ

  1. Google DeepMind82

    Google DeepMind เปิดตัว AlphaProof Code ตรวจสอบโค้ดเข้ารหัสของ Signal อย่างเป็นทางการ

    นักวิจัยของ Google DeepMind ใช้ AlphaProof Code ซึ่งเป็นกรอบการทำงานแบบหลาย LLM agentic เพื่อตรวจสอบคุณสมบัติความปลอดภัยที่สำคัญของโค้ดจริงที่อยู่เบื้องหลังโปรโตคอล Signal อย่างเป็นทางการ เอเจนต์ที่ขับเคลื่อนโดย Gemini Carbon สร้างโค้ด Lean กว่า 6 ล้านบรรทัด และผู้เชี่ยวชาญของมนุษย์ตรวจสอบเพียงประมาณ 1 เปอร์เซ็นต์ของฐานโค้ดเท่านั้น การตรวจสอบใช้เวลาสี่สัปดาห์ ซึ่งงานนี้ตามปกติต้องใช้ทีมผู้เชี่ยวชาญหลายปี เมื่อบั๊กสองตัวที่เคยแก้ไขแล้วถูกนำกลับเข้าสู่โค้ด Signal เวอร์ชันแยก ระบบได้สร้างหลักฐานที่ตรวจสอบโดยเครื่องว่าบั๊กเวอร์ชันที่มีบั๊กนั้นไม่ปลอดภัย และ DeepMind กำลังเปิดโอเพนซอร์สอาร์ติแฟกต์การตรวจสอบอย่างเป็นทางการของตน

    ทำไมเรื่องนี้สำคัญ: กรอบการทำงานแบบหลายเอเจนต์ของ Google DeepMind ตรวจสอบโค้ดเข้ารหัสที่ใช้งานจริงของ Signal อย่างเป็นทางการภายในสี่สัปดาห์ ซึ่งงานนี้ตามปกติต้องใช้ทีมผู้เชี่ยวชาญหลายปี

  1. Anthropic · Claude.dev80

    Anthropic: ตัวแทน Claude Fable 5.2 จำนวน 1,000 ตัวสร้างการพิสูจน์ทฤษฎีบทสุดท้ายของแฟร์มาต์ในรูปแบบทางการใหม่ได้ใน 28.7 ชั่วโมง

    ใช้เวลา 7 ชั่วโมงโดยไม่มีแพลตฟอร์ม Prove2Me หรือการกำกับดูแลจากนักวิจัยที่ใช้ในการทดลองของ Anthropic เมื่อเดือนกันยายน โดยเขียนการพิสูจน์ที่มีความยาวเพียงหนึ่งในเจ็ดและใช้โทเค็นเอาต์พุตเพียงหนึ่งในสาม แต่ละตัวแทนทำงานในแซนด์บ็อกซ์ที่แยกเครือข่าย พร้อมตัวจำแนกที่ตรวจสอบทุกคำสั่งเชลล์และการแก้ไขไฟล์ รวมถึงตัวตรวจสอบแบบออฟไลน์ และจากการเรียกเครื่องมือกว่าหนึ่งล้านครั้ง ไม่มีครั้งใดที่เข้าเกณฑ์จะถูกบล็อก

    ทำไมเรื่องนี้สำคัญ: การทดลองกับตัวแทน 1,000 ตัวของ Anthropic สามารถสร้างการพิสูจน์ทฤษฎีบทสุดท้ายของแฟร์มาต์ในรูปแบบทางการใหม่ได้โดยไม่มี Prove2Me หรือนักวิจัย แสดงให้เห็นว่าแซนด์บ็อกซ์และการตรวจสอบสามารถจำกัดขอบเขตทีมตัวแทนที่จัดระเบียบตัวเองได้อย่างไร

อ่านครบทั้งหมดแล้ว