การปรับต้นทุนต่องานให้เหมาะสมและการพิสูจน์ ROI ของเอเจนต์บน Amazon Bedrock

โพสต์ของ AWS นี้โต้แย้งว่าควรตัดสินค่าใช้จ่ายของ Amazon Bedrock จากต้นทุนต่องานมากกว่าต้นทุนต่อโทเคน เนื่องจากประสิทธิภาพของ tokenizer ความยาวของเอาต์พุต จำนวนรอบของลูปเอเจนต์ และภาระจากการให้เหตุผล อาจทำให้โมเดลที่มีราคาถูกกว่ากลายเป็นมีต้นทุนสูงกว่า ตัวอย่างที่คำนวณจริงแสดงให้เห็นว่าโมเดลที่มีราคาตามรายการสูงกว่า 2 เท่าเสร็จสิ้นงานด้วยต้นทุนที่ถูกกว่า 65% ต่องาน และโพสต์ยังเพิ่มการแคช การกำหนดเส้นทาง และการจำกัดเอาต์พุต พร้อมด้วยสกอร์การ์ดห้ามิติสำหรับวัด ROI ของเอเจนต์เทียบกับฐานอ้างอิงจากมนุษย์