ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

ArisGlobal สลับลำดับพรอมป์บน Amazon Bedrock เพื่อแคชคำนำหน้าร่วม

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 8 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

ArisGlobal เปลี่ยนวิธีที่เอนจิน AI NavaX จัดลำดับพรอมป์บน Amazon Bedrock โดยแคชคำนำหน้าร่วมของพรอมป์แทนเอกสารต้นทางแต่ละฉบับ ซึ่ง AWS ระบุว่าช่วยลดต้นทุนอินพุตที่แท้จริงและทำให้บริษัทเพิ่มผู้เช่าได้โดยต้นทุนไม่เพิ่มขึ้นตามสัดส่วน คำนำหน้าร่วมเติบโตจากประมาณ 72,000 เป็น 180,000 โทเคนในหกเดือน ทำให้ต้นทุนการอนุมานต่อเคสเพิ่มขึ้นกว่า 200% NavaX ประมวลผลธุรกรรมจริงมากกว่า 1 ล้านรายการในสภาพแวดล้อมเภสัชกรรมที่มีการกำกับดูแลตั้งแต่การติดตั้ง Bedrock ครั้งแรกกับ Claude ของ Anthropic ในเดือนมีนาคม 2025 การแคชพรอมป์บน Bedrock มี TTL เริ่มต้นที่ 5 นาที โมเดลบางรุ่นรองรับ TTL 1 ชั่วโมงผ่าน "ttl": "1h" สำหรับ Claude Sonnet 4.5 พรอมป์ที่แคชได้ขั้นต่ำคือ 1,024 โทเคน และความพร้อมใช้งานของโมเดลแตกต่างกันตามรีเจียน

สร้างจากรายงาน · อัปเดต 8 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

17 พฤศจิกายน
  1. AWS Machine Learning Blog
    ArisGlobal ขยายการอนุมาน AI แบบสร้างสรรค์บน Amazon Bedrock ได้อย่างไร

    ArisGlobal กลับลำดับพรอมต์ในเอนจิน NavaX AI บน Amazon Bedrock โดยแคชคำนำหน้าพรอมต์ที่ใช้ร่วมกันแทนที่จะแคชเอกสารต้นทางแต่ละฉบับ เพื่อลดต้นทุนอินพุตที่แท้จริง คำนำหน้าที่ใช้ร่วมกันเติบโตจากประมาณ 72,000 เป็น 180,000 โทเคนใน 6 เดือน ทำให้ต้นทุนการอนุมานต่อเคสเพิ่มขึ้นมากกว่า 200% NavaX ประมวลผลธุรกรรมจริงมากกว่า 1 ล้านรายการในสภาพแวดล้อมเภสัชกรรมที่มีการกำกับดูแลตั้งแต่การติดตั้งใช้งาน Amazon Bedrock ครั้งแรกกับ Claude ของ Anthropic ในเดือนมีนาคม 2025

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
8
จุดสูงสุดในช่วงที่เทียบได้
1018 พฤศจิกายน 01:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู