ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย#Microsoft
  1. Microsoft Research75

    นักวิจัย Microsoft อธิบาย Lazarus แบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยใหม่ในเอเจนต์ AI

    นักวิจัย Microsoft อธิบาย Lazarus เทคนิคแบ็กดอร์ที่ตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใน LLM ใหม่ เพื่อให้เอเจนต์ที่สร้างบนโมเดลนั้นส่งคำสั่งของผู้โจมตีออกมาเมื่อทริกเกอร์ที่ซ่อนอยู่ปรากฏ โดยไม่ต้องฝึกใหม่ โมเดลที่ถูกแก้ไขยังผ่านการประเมินมาตรฐานและทำงานปกติจนกว่าทริกเกอร์จะทำงาน ซึ่งอาจง่ายเพียงการเปลี่ยนวันที่ จากนั้นเอเจนต์จะรันโค้ดที่ดาวน์โหลดมาด้วยสิทธิ์การเข้าถึงที่ได้รับ ผู้เขียนระบุว่าการตรวจจับต้องเปรียบเทียบกับน้ำหนักต้นฉบับ และ Microsoft Foundry เชื่อมโยงโมเดล open-weight กับผู้เผยแพร่และสแกนคอนเทนเนอร์ของโมเดลอยู่แล้ว ขณะที่ชุดทดสอบ red-teaming การสแกนน้ำหนักแบบเอเจนต์ และโมเดลที่ลงนามพร้อมแหล่งที่มาที่ตรวจจับการแก้ไขได้อยู่ระหว่างการพัฒนา

    ทำไมเรื่องนี้สำคัญ: นักวิจัย Microsoft แสดงให้เห็นว่าการตั้งโปรแกรมนิวรอนที่อยู่เฉยน้อยกว่า 10 ตัวใหม่สามารถฝังแบ็กดอร์ในเอเจนต์ LLM ได้โดยไม่ต้องฝึกใหม่ ซึ่งทำให้แหล่งที่มาและความสมบูรณ์ของน้ำหนักกลายเป็นข้อกำหนดด้านความปลอดภัยในทางปฏิบัติ

  1. Microsoft Research64

    Microsoft Research และผู้ร่วมเขียนพิสูจน์ข้อสันนิษฐาน KLS ที่มีอายุ 31 ปี

    นักวิจัย Microsoft Xinzhi Zhang และผู้ร่วมเขียนได้พิสูจน์ข้อสันนิษฐาน Kannan-Lovász-Simonovits (KLS) ซึ่งเป็นปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูง โดยแสดงให้เห็นว่าขอบเขตดังกล่าวคงอยู่ด้วยค่าคงที่สากลที่ไม่ขึ้นกับมิติ การพิสูจน์นี้เกิดขึ้นจากกระบวนการเอเจนต์ที่มนุษย์กำกับดูแล ซึ่งเอเจนต์ AI สำรวจแนวทางที่เป็นไปได้มากกว่า 100 แนวทาง ขณะที่นักวิจัยตัดทิ้งและเปลี่ยนทิศทางการค้นหา และความพยายามแบบไม่มีคำแนะนำแยกต่างหากด้วยโมเดลชั้นนำภายใต้งบโทเค็นที่เทียบเคียงกันนั้นไม่ประสบผลสำเร็จ มีการพิสูจน์อีกสองชิ้นปรากฏขึ้นในวันเดียวกัน และต่อมาได้มีการเผยแพร่การทำให้เป็นรูปแบบ Lean 4

    ทำไมเรื่องนี้สำคัญ: ปัญหาที่เปิดอยู่มา 31 ปีในเรขาคณิตมิติสูงได้รับการแก้ไขผ่านการค้นหาแบบเอเจนต์ที่มนุษย์กำกับดูแลเหนือแนวทางที่เป็นไปได้ราว 100 แนวทาง โดยมีการพิสูจน์อิสระและการทำให้เป็นรูปแบบ Lean เป็นการยืนยัน

อ่านครบทั้งหมดแล้ว