ข้ามไปที่เนื้อหา
เฉพาะ งานวิจัย
20 ตุลาคมวันอังคาร
  1. AI as Normal Technology40

    งานวิจัยจาก Princeton ชี้ 33 แนวโน้มใหม่ในการประเมิน AI Agent

    กลุ่มวิจัยนำโดย Princeton ร่วมกับ Stanford, UK AI Security Institute และ Brookings เผยแพร่ผลงาน "Emerging Trends in AI Agent Evaluation" ซึ่งสังเคราะห์แนวโน้ม 33 ประการในด้านวิทยาศาสตร์การประเมิน วาระการวิจัย และระบบนิเวศของผู้ประเมิน บทความระบุว่าการประเมิน agent มีความซับซ้อนกว่าการประเมินโมเดลมาก เนื่องจากผู้ประเมินต้องตรวจสอบเส้นทางการทำงานทั้งหมด而非เฉพาะผลลัพธ์สุดท้าย และระบุว่า agent บางตัวบน benchmark ExploitBench ต้องใช้เครดิตในการประเมินถึงหลักหมื่นดอลลาร์ พร้อมเรียกร้องให้ขยายวาระการวิจัยครอบคลุมความสามารถ ปฏิสัมพันธ์กับมนุษย์ และผลกระทบเชิงสถาบัน รวมถึงการมีส่วนร่วมและทุนสนับสนุนที่กว้างขึ้นสำหรับผู้ประเมินอิสระ

19 ตุลาคมวันจันทร์
  1. Sakana AI Blog55

    Sakana AI เสนอ QD-Rec วิธีการแนะนำแบบ Quality-Diversity ที่จับคู่ผู้สมัครกับสมมติฐานที่เขียนโดย LLM

    Sakana AI พัฒนา QD-Rec วิธีการแนะนำที่ถือเอาผู้สมัครบวกกับสมมติฐานที่อธิบายเหตุผลในการเลือกเป็นหน่วยของการแนะนำ และใช้การค้นหาแบบ Quality-Diversity เพื่อสะสมข้อเสนอที่มีคุณภาพและหลากหลาย ในการทดลองด้าน M&A การกำหนดเป้าหมายลูกค้า และการแนะนำบทความ QD-Rec สร้างคลังที่ได้คะแนนเฉลี่ยสูงกว่าและมีขนาดใหญ่กว่าฐานเปรียบเทียบที่เขียนสมมติฐานแต่ละอันขึ้นใหม่ทั้งหมด และโค้ดของมันเผยแพร่บน GitHub บทความรายงานกรณีที่สมมติฐานซึ่งได้คะแนน 1 จาก 10 สำหรับบริษัทหนึ่งถูกกลายพันธุ์และถ่ายโอนไปยังผู้สมัครอีกราย ทำให้คะแนนเพิ่มขึ้นเป็น 5

17 ตุลาคมวันเสาร์
  1. Google Research71

    Google Research อธิบาย VERID และเวิร์กโฟลว์เอเจนต์แบบ closed-loop สำหรับห้องปฏิบัติการเปียกอัตโนมัติ

    Google Research อธิบายโครงการสามโครงการที่มุ่งเชื่อมโยงเอเจนต์ AI เข้ากับการทดลองในห้องปฏิบัติการเปียกจริง รวมถึงกรอบงาน VERID ซึ่งเป็นดิจิทัลทวินเชิงความหมายของ workcell ในห้องปฏิบัติการที่สร้างบนกรอบงานโอเพนซอร์ส PyLabRobot ติดตามเลย์เอาต์ของ deck ปริมาตรของ well และจำนวนทิป และทดลองรันโปรโตคอลแบบ dry-run ก่อนการดำเนินการจริง

    ทำไมเรื่องนี้สำคัญ: Google Research อธิบายโครงการสามโครงการที่เชื่อมต่อเอเจนต์ AI เข้ากับฮาร์ดแวร์ห้องปฏิบัติการเปียกจริง แสดงให้เห็นว่าการจำลองแบบ dry-run และการทดลองแบบ closed-loop ช่วยให้เอเจนต์แก้ไขกฎการออกแบบของตนเองได้อย่างไร

  2. Redwood Research58

    Redwood Research 推出 Screwtape，一条通过编辑智能体对话记录来对仅动作监控器进行红队测试的流水线

    Redwood Research 推出 Screwtape，这是一条将攻击插入真实智能体对话记录并反复精炼、直到仅动作监控器不再能捕获它的流水线，并由 LLM 验证器检查真实性和严重性。在 94 份唯一对话记录上的 252 次运行中，它产生了 35 个规避了 Redwood 自家基于 Opus 4.8 和 Gemini 3.1 Pro 的监控器的攻击，其中 6 个还规避了来自一家前沿开发商的留出监控器，并经人工审查确认为有效。作者指出，该流水线无法给出定量安全估计，目前无法为思维链监控器生成推理轨迹，且不会公开发布，但他们愿意与研究人员分享。