AWS แนะนำให้ส่งเฉพาะงานที่เปิดกว้างให้ LLM เพื่อลดต้นทุน AI เชิงสร้างสรรค์
เริ่มตรงนี้
บล็อก Machine Learning ของ AWS แนะนำให้ทีมเก็บการตรวจสอบอินพุต การจัดรูปแบบ และการกำหนดเส้นทางไว้ในโค้ดที่กำหนดผลได้แน่นอน และส่งเฉพาะงานที่เปิดกว้างให้โมเดลภาษาขนาดใหญ่ โดยระบุว่าวิธีนี้ช่วยลดค่าใช้จ่าย เวลาแฝง และความแปรปรวนของผลลัพธ์ โพสต์ดังกล่าวเสนอผังงานสามคำถาม ได้แก่ ขั้นตอนนั้นตรวจสอบด้วยกฎได้หรือไม่ เป็นกฎที่โมเดลเขียนได้หรือไม่ หรือเป็นการเลือกจากรายการที่กำหนดไว้ตายตัว แล้วจับคู่ขั้นตอนแต่ละประเภทกับ AWS Lambda, Step Functions หรือโมเดล Amazon Bedrock ที่มีขนาดเหมาะสม สิ่งเหล่านี้เป็นข้อแนะนำของโพสต์เอง ไม่ได้รายงานตัวเลขการประหยัดที่วัดได้จากการนำไปใช้
สร้างจากรายงาน · อัปเดต 3 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogลดต้นทุน AI สร้างสรรค์: เขียนโค้ดสำหรับกฎ ใช้โมเดลสำหรับการตัดสินใจ
AWS แนะนำให้ทีมส่งเฉพาะงานที่เปิดกว้างให้ LLM โดยเก็บการตรวจสอบอินพุต การจัดรูปแบบ และการกำหนดเส้นทางไว้ในโค้ดที่กำหนดผลได้แน่นอน เพื่อลดค่าใช้จ่าย ความหน่วง และความแปรปรวนของผลลัพธ์ บทความมีผังงานสามคำถาม—ตรวจสอบได้ด้วยกฎ เขียนกฎได้ด้วยโมเดล หรือเลือกจากรายการคงที่—จับคู่แต่ละขั้นตอนกับ AWS Lambda, Step Functions หรือโมเดล Amazon Bedrock ที่ปรับขนาดให้เหมาะสม
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1018 พฤศจิกายน 06:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู