Hacker News · AI·· 15 ชม. ที่แล้วคะแนน AI38
Vidai เปิดตัวห้องควบคุมธรรมาภิบาล AI ที่ตรวจสอบทุกการเรียกโมเดล
Shifting AI Governance to Infrastructure
สรุปโดย AI
Vidai ได้เปิดตัว Control room ที่กำกับการเรียก AI ทุกครั้งภายในเครือข่ายของลูกค้าเอง โดยตรวจสอบตัวตนผู้เรียก เนื้อหา prompt และโมเดลกับภูมิภาคที่อนุญาตก่อนกำหนดเส้นทาง คิดราคา และลงนามบันทึกของแต่ละคำขอ ใช้งานร่วมกับ SDK ของ OpenAI, Anthropic และ Gemini ได้ด้วยการเปลี่ยนการตั้งค่าเพียงครั้งเดียว และ Vidai รายงานว่าทำได้ 47,200 การเรียกต่อวินาทีบนเครื่องเดียว โดยเพิ่มเวลาแฝงมัธยฐาน 0.58 ms
แหล่งข่าว:Hacker News · AI · vidai.si