AWS Machine Learning Blog· Alan Yao·· 22 ชม. ที่แล้วคะแนน AI34
Airbnb ใช้ต้นทุนต่องานในการใช้งาน coding agent บน Amazon Bedrock อย่างไร
How Airbnb uses cost per task to operate coding agents on Amazon Bedrock
สรุปโดย AI
Airbnb ให้บริการเครื่องมือ coding agent ภายในชื่อ AirChat ผ่าน LLM gateway บน Amazon Bedrock โดยใช้ต้นทุนต่องาน ซึ่งหมายถึงต้นทุนตามราคาปลีกของโทเค็นทั้งหมดที่ agent ใช้เพื่อทำงานหนึ่งงานให้เสร็จ ในการเลือกค่าเริ่มต้นของโมเดลและเพดานความพยายาม หลังจากมีโมเดลใหม่ 8 ตัวเปิดตัวในเวลาประมาณ 5 สัปดาห์ คำขอ coding agent ของวิศวกรราวสองในสามส่งไปยังโมเดลใหม่เหล่านั้นภายในกลางเดือนตุลาคม Airbnb ใช้การประเมินก่อนเปิดใช้งานร่วมกับสัญญาณรันไทม์จาก CloudWatch ด้านความหน่วง การถูกจำกัดอัตรา และการใช้จ่ายโทเค็น เพื่อทบทวนตัวเลือกเหล่านี้
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com