ArisGlobal สลับลำดับพรอมป์บน Amazon Bedrock เพื่อแคชคำนำหน้าร่วม
เริ่มตรงนี้
ArisGlobal เปลี่ยนวิธีที่เอนจิน AI NavaX จัดลำดับพรอมป์บน Amazon Bedrock โดยแคชคำนำหน้าร่วมของพรอมป์แทนเอกสารต้นทางแต่ละฉบับ ซึ่ง AWS ระบุว่าช่วยลดต้นทุนอินพุตที่แท้จริงและทำให้บริษัทเพิ่มผู้เช่าได้โดยต้นทุนไม่เพิ่มขึ้นตามสัดส่วน คำนำหน้าร่วมเติบโตจากประมาณ 72,000 เป็น 180,000 โทเคนในหกเดือน ทำให้ต้นทุนการอนุมานต่อเคสเพิ่มขึ้นกว่า 200% NavaX ประมวลผลธุรกรรมจริงมากกว่า 1 ล้านรายการในสภาพแวดล้อมเภสัชกรรมที่มีการกำกับดูแลตั้งแต่การติดตั้ง Bedrock ครั้งแรกกับ Claude ของ Anthropic ในเดือนมีนาคม 2025 การแคชพรอมป์บน Bedrock มี TTL เริ่มต้นที่ 5 นาที โมเดลบางรุ่นรองรับ TTL 1 ชั่วโมงผ่าน "ttl": "1h" สำหรับ Claude Sonnet 4.5 พรอมป์ที่แคชได้ขั้นต่ำคือ 1,024 โทเคน และความพร้อมใช้งานของโมเดลแตกต่างกันตามรีเจียน
สร้างจากรายงาน · อัปเดต 8 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogArisGlobal ขยายการอนุมาน AI แบบสร้างสรรค์บน Amazon Bedrock ได้อย่างไร
ArisGlobal กลับลำดับพรอมต์ในเอนจิน NavaX AI บน Amazon Bedrock โดยแคชคำนำหน้าพรอมต์ที่ใช้ร่วมกันแทนที่จะแคชเอกสารต้นทางแต่ละฉบับ เพื่อลดต้นทุนอินพุตที่แท้จริง คำนำหน้าที่ใช้ร่วมกันเติบโตจากประมาณ 72,000 เป็น 180,000 โทเคนใน 6 เดือน ทำให้ต้นทุนการอนุมานต่อเคสเพิ่มขึ้นมากกว่า 200% NavaX ประมวลผลธุรกรรมจริงมากกว่า 1 ล้านรายการในสภาพแวดล้อมเภสัชกรรมที่มีการกำกับดูแลตั้งแต่การติดตั้งใช้งาน Amazon Bedrock ครั้งแรกกับ Claude ของ Anthropic ในเดือนมีนาคม 2025
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 8
- จุดสูงสุดในช่วงที่เทียบได้
- 1018 พฤศจิกายน 01:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู