AWS เผยแพร่กรอบการวัดต้นทุนต่องานและ ROI ของเอเจนต์สำหรับ Bedrock
เริ่มตรงนี้
บล็อก Machine Learning ของ AWS เผยแพร่กรอบการประเมินการใช้จ่ายของ Amazon Bedrock โดยดูจากต้นทุนต่องานแทนต้นทุนต่อโทเคน โดยให้เหตุผลว่าประสิทธิภาพของ tokenizer ความยาวของเอาต์พุต จำนวนรอบของ agentic loop และภาระจากการใช้ reasoning อาจทำให้โมเดลที่มีราคาถูกกว่ากลายเป็นมีต้นทุนสูงกว่าในทางปฏิบัติ ในตัวอย่างการคำนวณเพียงตัวอย่างเดียวของโพสต์ โมเดลที่มีราคาตามรายการสูงเป็นสองเท่ากลับมีต้นทุนต่องานถูกกว่า 65% โพสต์ยังแนะนำให้ใช้แคช การจัดเส้นทาง และการจำกัดเอาต์พุตเพื่อลดต้นทุนต่องาน พร้อมเสนอให้วัด ROI ของเอเจนต์เทียบกับฐานอ้างอิงจากมนุษย์ด้วยการทดลองแบบ holdout และสกอร์การ์ดห้ามิติ โพสต์ติดตามผลของ AWS อีกชิ้นหนึ่งลงรายละเอียดการตั้งค่าการอนุมานของ Bedrock สี่ประการที่เปลี่ยนต้นทุนโดยไม่เปลี่ยนโมเดลหรือพรอมป์ต์ ได้แก่ ระยะเวลาแคช ระดับบริการ (service tier) ความเข้มข้นของ reasoning และ maxTokens โพสต์ระบุว่าบน Claude Sonnet 5 และ Claude Opus 5 การเขียนแคชแบบ 5 นาทีมีค่าใช้จ่าย 1.25 เท่าของอัตราอินพุต และแบบ 1 ชั่วโมงมีค่าใช้จ่าย 2 เท่า ขณะที่การอ่านแคชมีค่าใช้จ่าย 0.1 เท่า และคำขอในระดับ Flex ไปยังโมเดลที่ไม่รองรับจะล้มเหลวด้วย ValidationException ข้อมูลเหล่านี้เป็นคำแนะนำและตัวเลขจากโพสต์เอง ไม่ใช่การทดสอบประสิทธิภาพจากบุคคลที่สาม
สร้างจากรายงาน · อัปเดต 17 ชม. ที่แล้ว
ความคืบหน้า
2 ความคืบหน้า
- 13 พฤศจิกายน 04:51 · 1 รายงานสี่ตัวเลือกการอนุมานของ Amazon Bedrock ที่ส่งผลต่อต้นทุนAWS Machine Learning Blog：ตัวเลือกการอนุมานสี่แบบของ Amazon Bedrock ที่ส่งผลต่อค่าใช้จ่าย
- 13 พฤศจิกายน 02:43 · 1 รายงานการเผยแพร่กรอบการวัดต้นทุนต่องานและ ROI ของเอเจนต์บน BeAWS Machine Learning Blog：การปรับต้นทุนต่องานให้เหมาะสมและการพิสูจน์ ROI ของเอเจนต์บน Amazon Bedrock
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogตัวเลือกการอนุมานสี่แบบของ Amazon Bedrock ที่ส่งผลต่อค่าใช้จ่าย
ระยะเวลาแคช ระดับบริการ ความพยายามในการให้เหตุผล และการตั้งค่า maxTokens ของ Amazon Bedrock สามารถเปลี่ยนค่าใช้จ่ายในการอนุมานโดยไม่ต้องเปลี่ยนโมเดลหรือพรอมต์ การเขียนแคช 5 นาทีบน Claude Sonnet 5 และ Claude Opus 5 มีค่าใช้จ่าย 1.25 เท่าของอัตราอินพุต การเขียนแคช 1 ชั่วโมงมีค่าใช้จ่าย 2 เท่า และการอ่านแคชมีค่าใช้จ่าย 0.1 เท่า คำขอระดับ Flex ไปยังโมเดลที่ไม่รองรับจะล้มเหลวด้วย ValidationException
- AWS Machine Learning Blogการปรับต้นทุนต่องานให้เหมาะสมและการพิสูจน์ ROI ของเอเจนต์บน Amazon Bedrock
โพสต์ของ AWS นี้โต้แย้งว่าควรตัดสินค่าใช้จ่ายของ Amazon Bedrock จากต้นทุนต่องานมากกว่าต้นทุนต่อโทเคน เนื่องจากประสิทธิภาพของ tokenizer ความยาวของเอาต์พุต จำนวนรอบของลูปเอเจนต์ และภาระจากการให้เหตุผล อาจทำให้โมเดลที่มีราคาถูกกว่ากลายเป็นมีต้นทุนสูงกว่า ตัวอย่างที่คำนวณจริงแสดงให้เห็นว่าโมเดลที่มีราคาตามรายการสูงกว่า 2 เท่าเสร็จสิ้นงานด้วยต้นทุนที่ถูกกว่า 65% ต่องาน และโพสต์ยังเพิ่มการแคช การกำหนดเส้นทาง และการจำกัดเอาต์พุต พร้อมด้วยสกอร์การ์ดห้ามิติสำหรับวัด ROI ของเอเจนต์เทียบกับฐานอ้างอิงจากมนุษย์
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม