Airbnb ใช้ต้นทุนต่องานในการจัดการ coding agent บน Bedrock
เริ่มตรงนี้
Airbnb เปิดเผยรายละเอียดว่าใช้งาน AirChat เครื่องมือ coding agent ภายในองค์กร ผ่าน LLM gateway บน Amazon Bedrock และใช้ "ต้นทุนต่องาน" ซึ่งเป็นต้นทุนตามราคาป้ายของโทเคนทั้งหมดที่ agent ใช้เพื่อทำงานหนึ่งงานให้เสร็จ ในการกำหนดค่าเริ่มต้นของโมเดลและเพดานความพยายาม Airbnb ระบุว่าหลังจากมีโมเดลใหม่ 8 ตัวเปิดตัวในราวห้าสัปดาห์ ประมาณสองในสามของคำขอ coding agent จากวิศวกรพุ่งไปที่โมเดลใหม่เหล่านั้นภายในกลางเดือนตุลาคม Airbnb จับคู่การประเมินก่อนเปิดตัวกับสัญญาณรันไทม์จาก CloudWatch ด้านความหน่วง การถูกจำกัดอัตรา และการใช้จ่ายโทเคน เพื่อทบทวนตัวเลือกเหล่านั้น วิธีนี้พึ่งพาการบันทึกการเรียกใช้โมเดล ซึ่งปิดอยู่โดยค่าเริ่มต้นและต้องเปิดในทุก AWS Region ที่ถูกเรียกใช้ การเปิดใช้งานจะไม่เติมข้อมูลต้นทุนย้อนหลัง เพราะบันทึกอาจเก็บพรอมต์ คำตอบ และตัวตนผู้เรียกได้ทั้งหมด Airbnb จึงแนะนำให้จำกัดการเข้าถึงและกำหนดระยะเวลาการเก็บรักษา นอกจากนี้ยังระบุว่าการอ่านจากแคชไม่นับรวมในโควตา คำขอหนึ่งจึงอาจถูกเมื่อเทียบกับโควตาแต่แพงเมื่อเทียบกับบิล
สร้างจากรายงาน · อัปเดต 21 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAirbnb ใช้ต้นทุนต่องานในการใช้งาน coding agent บน Amazon Bedrock อย่างไร
Airbnb ให้บริการเครื่องมือ coding agent ภายในชื่อ AirChat ผ่าน LLM gateway บน Amazon Bedrock โดยใช้ต้นทุนต่องาน ซึ่งหมายถึงต้นทุนตามราคาปลีกของโทเค็นทั้งหมดที่ agent ใช้เพื่อทำงานหนึ่งงานให้เสร็จ ในการเลือกค่าเริ่มต้นของโมเดลและเพดานความพยายาม หลังจากมีโมเดลใหม่ 8 ตัวเปิดตัวในเวลาประมาณ 5 สัปดาห์ คำขอ coding agent ของวิศวกรราวสองในสามส่งไปยังโมเดลใหม่เหล่านั้นภายในกลางเดือนตุลาคม Airbnb ใช้การประเมินก่อนเปิดใช้งานร่วมกับสัญญาณรันไทม์จาก CloudWatch ด้านความหน่วง การถูกจำกัดอัตรา และการใช้จ่ายโทเค็น เพื่อทบทวนตัวเลือกเหล่านี้
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1019 พฤศจิกายน 07:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู