Split-and-Scale ของ Apple ขยายความจุ latent 3D ที่เวลา inference
เริ่มตรงนี้
นักวิจัยของ Apple เสนอ split-and-scale ซึ่งเป็นวิธีการที่ขยายความจุ latent ของการแทนข้อมูล 3D ที่เวลา inference โดยยังคงต้นทุนการฝึกให้อยู่ในระดับที่จัดการได้ วิธีนี้ใช้ tokenizer ที่ผ่านการฝึกมาแล้วตัวเดียวกับพื้นที่ย่อยของฉากที่มีขนาดเล็กตามอำเภอใจ ทำให้ความจุ latent เดียวกันครอบคลุมขอบเขตเชิงพื้นที่ที่เล็กลงและเก็บรายละเอียดได้สูงขึ้นมาก ตามที่นักวิจัยระบุ วิธีนี้ให้คุณภาพเทียบเท่าโมเดลขนาดใหญ่กว่ามากที่เกินขีดจำกัดหน่วยความจำของ GPU เดี่ยว และตัวสร้าง 3D แบบ autoregressive ที่ฝึกด้วยวิธีนี้มีประสิทธิภาพเทียบเคียงได้กับ baseline ที่ล้ำสมัย
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Apple Machine Learning ResearchApple Split-and-Scale ขยายความจุของการแทนค่า 3D แฝงในขั้นตอนการอนุมาน
นักวิจัยของ Apple เสนอ split-and-scale วิธีการที่ขยายความจุแฝงของการแทนค่า 3D ในขั้นตอนการอนุมาน โดยยังคงต้นทุนการฝึกให้อยู่ในระดับที่จัดการได้ ด้วยการใช้ tokenizer ที่ผ่านการฝึกมาแล้วตัวเดียวกับพื้นที่ย่อยขนาดเล็กตามอำเภอใจของฉาก วิธีนี้จัดสรรความจุแฝงเท่าเดิมให้กับขอบเขตเชิงพื้นที่ที่เล็กลง และเก็บรายละเอียดได้สูงขึ้นมาก วิธีนี้ให้คุณภาพเทียบเท่าโมเดลขนาดใหญ่กว่ามากที่เกินขีดจำกัดหน่วยความจำของ GPU เดียว และตัวสร้าง 3D แบบ autoregressive ที่ฝึกบนวิธีนี้ทำงานได้แข่งขันกับ baseline ที่ล้ำสมัย
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม