Modal เปิดให้ผู้ถือบัญชีทุกคนสามารถใช้ GPU Nvidia B200 และ H200 ได้โดยไม่ต้องติดต่อฝ่ายขายหรือขอโควตา โดยคิดราคาที่ 6.25 ดอลลาร์ต่อชั่วโมงและ 4.54 ดอลลาร์ต่อชั่วโมงตามลำดับ B200 มีหน่วยความจำ HBM3e 180 GB และแบนด์วิดท์ 8 TB/s และในการทดสอบ vLLM ของ Modal ที่รัน DeepSeek V3 ในความแม่นยำ 8-bit การใช้ 8xB200 ลดเวลามัธยฐานถึงโทเคนแรกได้ 2.5 เท่าเมื่อเทียบกับ 8xH200 ที่ 1 คำขอต่อวินาที
DeepSeek V3 ประมวลผลโทเค็นต่อวินาทีมากกว่า R1 อยู่ 47% ในราคา 0.28 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต ขณะที่ R1 มีค่าใช้จ่าย 2.19 ดอลลาร์ต่อล้านโทเค็นและรันลูปการให้เหตุผลภายในสำหรับงานที่ยากขึ้น R1 ทำคะแนนได้ 97.3% บน MATH-500 และ 79.8% บน AIME 2024 เทียบกับ V3 ที่ได้ 90.2% และ 39.2% ทีมส่วนใหญ่กำหนดเส้นทาง 80-90% ของคำถามง่าย ๆ ไปยัง V3 และส่งงานให้เหตุผลที่ซับซ้อนไปยัง R1
SRTP ช่วยรักษาความปลอดภัยของสตรีมเสียงและวิดีโอ RTP โดยเพิ่มเพย์โหลดที่เข้ารหัส แท็กการรับรองความถูกต้อง และตัวระบุคีย์หลักลงในแต่ละแพ็กเก็ตสื่อ โดยอาศัยโหมด AES counter และแท็กการรับรองความถูกต้อง HMAC-SHA1 เป็นหลัก พร้อมหมายเลขลำดับที่ป้องกันการโจมตีแบบเล่นซ้ำ และทำงานร่วมกับ DTLS-SRTP หรือ SDES สำหรับการแลกเปลี่ยนคีย์ SRTP ถูกวางตำแหน่งเป็นทางเลือกในชั้นแอปพลิเคชันที่มีโอเวอร์เฮดต่ำสำหรับการสื่อสารแบบเรียลไทม์ โดยอ้างอิง GDPR, HIPAA และ CPRA เป็นปัจจัยขับเคลื่อนด้านการปฏิบัติตามข้อกำหนด
คู่มือการใช้งานไฟล์ .env และการตั้งค่าสภาพแวดล้อมในโปรเจกต์ Voice AI ครอบคลุมการตั้งค่า dotenv สำหรับ Node.js และ Python การเพิ่ม .env ลงใน .gitignore และคีย์เฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_PROJECT_ID โดยอ้างอิงการค้นพบของ GitGuardian ที่พบ secrets รั่วไหลบน GitHub จำนวน 12.8 ล้านรายการในปี 2023 เพิ่มขึ้น 28% และแนะนำให้แยกไฟล์ env ตามสภาพแวดล้อม พร้อมเครื่องมือเช่น git-crypt, SOPS, AWS Secrets Manager และ HashiCorp Vault
Amazon Lex เหมาะกับทีมที่ใช้งาน AWS อยู่แล้วและต้องการการผสานรวมที่แน่นแฟ้นกับบริการของ Amazon ขณะที่ Dialogflow มีการรองรับภาษาที่กว้างกว่าและมีเส้นทางการเรียนรู้ที่ง่ายกว่าสำหรับผู้เริ่มต้น Lex ใช้เทคโนโลยีของ Alexa โดยมีราคาแบบจ่ายตามการใช้งาน รวมถึงระดับฟรี 10,000 คำขอข้อความและ 5,000 คำขอเสียงต่อเดือนในปีแรก และ Dialogflow รองรับมากกว่า 30 ภาษาพร้อมเอเจนต์สำเร็จรูปและการวิเคราะห์ความรู้สึก
คู่มือของ Vapi อธิบายวิธีกำหนดค่าตัวแปรสภาพแวดล้อมสำหรับการผสานรวม Voice AI ครอบคลุมตัวแปรชั่วคราวเทียบกับถาวร และระดับผู้ใช้เทียบกับระดับระบบ โดยมีรายละเอียดการตั้งค่าบน Windows, macOS และ Linux พร้อมตัวอย่างเฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_MULTILINGUAL_SUPPORT รวมถึงแนวปฏิบัติที่ดีที่สุดด้านการตั้งชื่อและความปลอดภัย เช่น การไม่ฮาร์ดโค้ด API key
Modal เปิดตัว Modal Batch ซึ่งเป็นอินเทอร์เฟซสำหรับประมวลผลแบบแบตช์ที่รองรับคิวแบบคงทนที่สร้างใหม่ สามารถจัดคิวอินพุตได้ครั้งละ 1 ล้านรายการ เพิ่มขึ้นจาก 2,000 รายการ และรับประกันการทำงานได้นานถึง 7 วันหลังจากเริ่มงาน เพิ่มขึ้นจาก 1 วัน มีตัวจัดการแบบเนทีฟใหม่ .spawn_map ที่สร้างคอนเทนเนอร์หลายพันตัวจากชุดอินพุตโดยที่ผู้ใช้ไม่ต้องจัดการลอจิกแบบอะซิงโครนัสเอง และ Harvey รายงานว่ากระบวนการประมวลผลเอกสารเร็วขึ้น 10 เท่าหลังจากกระจายอินพุตไปยังคอนเทนเนอร์ 1,000 ตัว Suno ใช้มันเพื่อรันการประมวลผลล่วงหน้าที่เร่งด้วย GPU บน GPU หลายพันตัว และ Achira พึ่งพากลไกการลองใหม่สำหรับชุดข้อมูลกลศาสตร์ควอนตัม
Modal อัปเกรดที่เก็บข้อมูลคีย์-แวลูแบบเซิร์ฟเวอร์เลส Dict: Dict ที่สร้างใหม่มีที่เก็บข้อมูลไม่จำกัด แทนขีดจำกัดเดิม 10GiB และการหมดอายุของรายการเปลี่ยนเป็น 7 วันนับจากการเขียนหรืออ่านครั้งล่าสุด แฟล็ก skip_if_exists ใหม่บน .put() ช่วยให้ทำ distributed locking และความหมายแบบ "exactly once" ได้ และ Dict มีความทนทานของข้อมูลแล้ว การเปลี่ยนแปลงนี้ใช้เฉพาะกับ Dict ที่สร้างใหม่เท่านั้น
Modal สร้าง "ตัวแก้ปัญหาทรัพยากร" ที่ใช้โปรแกรมเชิงเส้นและอัลกอริทึมซิมเพล็กซ์เพื่อตัดสินใจว่าจะเปิดหรือปิดอินสแตนซ์คลาวด์ใด ตอบสนองความต้องการ GPU ในราคาที่คาดการณ์ได้ ระบบยังจับการเก็งกำไรชั่วคราว เช่น GPU H200 หลายร้อยตัวในราคาต่ำกว่าอัตราตลาดของ H100 20% ประหยัดเงินได้หลายล้านดอลลาร์ต่อปี
Modal เปิดตัว SDK เวอร์ชัน alpha อย่างเป็นทางการสำหรับ JavaScript และ Go ช่วยให้นักพัฒนาสามารถเรียกใช้ Modal Functions ที่ deploy แล้วและสร้าง sandbox แบบแยกได้จากบริการ Node, Next.js หรือ Go โดยไม่ต้องเขียน Python ตัว SDK ไม่สามารถ deploy ฟังก์ชันได้ ซึ่งยังต้องใช้ Python และรองรับเฉพาะชนิดข้อมูลแบบ JSON-like หรือ bytes เท่านั้นในตอนนี้ Modal กล่าวว่าสามารถรัน sandbox 10,000 รายการในภาษาใดภาษาหนึ่งได้โดยไม่มีปัญหา
Lemon Slice สร้าง Lemon Slice Live ซึ่งเป็นผลิตภัณฑ์สำหรับการสนทนาวิดีโอแบบเรียลไทม์กับตัวละคร AI โดยใช้ Modal และ primitives ที่มีความหน่วงต่ำของ Daily เพื่อให้ได้ความหน่วงในการตอบสนองวิดีโอแบบ end-to-end ที่ 3-6 วินาที ไปป์ไลน์นี้รันเซิร์ฟเวอร์ Pipecat และโมเดลวิดีโอขนาด 1B พารามิเตอร์บนคอนเทนเนอร์ Modal แยกกันที่สื่อสารผ่าน Tunnel ของ Modal และถูกจัดวางร่วมกันกับการเลือกภูมิภาค โดยมี Deepgram, Grok และ ElevenLabs รับผิดชอบการแปลงเสียงเป็นข้อความ การตอบสนองของ LLM และการแปลงข้อความเป็นเสียง ก่อนหน้านี้ Python Modal Functions สองตัวช่วยให้ Lemon Slice ขยาย規模ได้ถึง 10,000 คำขอต่อชั่วโมงโดยไม่ต้องจัดการคลัสเตอร์ ECS คิวงาน หรือโหลดบาลานเซอร์
sync. 正在利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，然后将每个场景传递给其在 A100 上专有的 LipSync GenAI 模型。该团队每天部署多达 95 次，并在从 Google Colab 原型和 AWS Lambda 迁移后，一年内向生产环境交付了 10 个主要模型变体。
ตอนนี้ Modal ให้แต่ละ Function เข้าคิวอินพุตได้สูงสุด 1 ล้านรายการ เพิ่มขึ้นจาก 2k พร้อมขีดจำกัดอัตราการเรียก .spawn() ที่สูงขึ้น และเก็บผลลัพธ์ FunctionCall ไว้ 7 วัน การอัปเดตนี้ยังเพิ่มแอปชั่วคราวผ่าน app.run() ภายในคอนเทนเนอร์ ข้อมูล Git commit สำหรับแอปใน CLI และแดชบอร์ด และตัวอย่าง TensorRT-LLM ใหม่ที่ให้บริการ LLM ด้วยความหน่วงต่ำกว่า 400 ms
Christian Ulstrup ที่ปรึกษาจาก GSD at Work ใช้ Vapi voice AI agents แทนการนัดสายค้นหาความต้องการแบบกำหนดเวลา ด้วยระบบรับข้อมูลเสียงแบบอะซิงโครนัสสำหรับเวิร์กช็อป AI Action Sessions ของเขา ผู้เข้าร่วมโทรเข้าสายโทรศัพท์ Vapi เฉพาะตามความสะดวก และทรานสคริปต์พร้อมสรุปที่สร้างโดย AI จะไหลเข้าสู่ Slack ผ่าน Zapier และถูกบันทึกใน HubSpot สำหรับลูกค้ารายล่าสุด 20 คนจากทั่วโลกมีส่วนร่วมในการค้นหาความต้องการรวมกว่า 3 ชั่วโมง และเซสชันได้รับคะแนน 5 จาก 5
Modal ลดราคา GPU, CPU และหน่วยความจำลงสูงสุดถึง 65% และผู้ใช้แพ็กเกจ Team สามารถรัน GPU พร้อมกันได้สูงสุดถึง 50 ตัวแล้ว ตอนนี้ Modal SDK อยู่บน conda-forge เริ่มตั้งแต่เวอร์ชัน 0.73.46 และมีแผนจะปล่อยไคลเอนต์เวอร์ชัน 1.0 Modal ยังเผยแพร่ตัวอย่าง LTX-Video แบบ image-to-video และเปิดตัวโลโก้ใหม่
Modal เผยแพร่คู่มือที่แยกความแตกต่างของสามสิ่งที่มักถูกเรียกว่า "GPU utilization": GPU Allocation Utilization (สัดส่วน GPU-วินาทีที่รันโค้ดแอปพลิเคชันต่อ GPU-วินาทีที่จ่ายเงินไป), GPU Kernel Utilization (สัดส่วนเวลาที่รันโค้ดบน GPU) และ Model FLOP/s Utilization (สัดส่วนของแบนด์วิดท์การคำนวณตามทฤษฎีที่ถูกใช้) คู่มือนี้เน้นไปที่งาน inference ของโครงข่ายประสาทเทียม ซึ่ง Modal เรียกว่าเป็นศูนย์สร้างรายได้มากกว่าศูนย์ต้นทุน
Modal ได้เปิดโอเพนซอร์ส GPU Glossary ซึ่งเป็นคลังรวมเอกสารสั้นที่เชื่อมโยงกันในหัวข้อการเขียนโปรแกรม GPU บน GitHub ภายใต้สัญญาอนุญาต Creative Commons BY 4.0 โดยคลังคำศัพท์นี้เปิดตัวครั้งแรกเมื่อสองเดือนก่อนเพื่อเติมช่องว่างของเอกสารอ้างอิง GPU แบบครบสแตก และคำขอจากชุมชนที่ต้องการมีส่วนร่วมทำให้เกิดการย้ายครั้งนี้ ปัจจุบัน GitHub Issues ของรีโปได้ระบุส่วนขยายที่วางแผนไว้แล้ว รวมถึงเคอร์เนล matmul ตัวอย่างสองตัวและส่วนเกี่ยวกับ Thread Block Clusters
Modal ได้เปิดตัวแดชบอร์ดบันทึกที่ปรับปรุงใหม่พร้อมการกรองช่วงเวลาที่ป้อนได้ การทำโปรไฟล์คอนเทนเนอร์แบบเรียลไทม์สำหรับการดีบักคอนเทนเนอร์หรืออินพุตที่ค้าง และ Debug Shells ที่รันคำสั่งเช่น vim, ps และ strace ภายในคอนเทนเนอร์ที่กำลังทำงาน ขณะนี้การเลือกภูมิภาคพร้อมใช้งานในทุกแพ็กเกจ โดยคิดราคาด้วยตัวคูณจากราคาฐาน และไคลเอนต์เพิ่มการยืนยันตัวตน OIDC สำหรับการเมานต์คลาวด์บักเก็ตผ่านฟิลด์ oidc_auth_role_arn ใหม่
Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า
ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch
Modal เปิดให้บริการ GPU NVIDIA L40S ในราคา $1.95/ชั่วโมง พร้อมหน่วยความจำ 48GB ให้ประสิทธิภาพเร็วขึ้นถึง 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และเร็วขึ้นกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผล เมื่อเทียบกับ GPU A10 ของบริษัท แพลตฟอร์มยังเพิ่มโทเค็นการยืนยันตัวตนผ่านพร็อกซีสำหรับควบคุมการเข้าถึงปลายทางเว็บ, Filesystem API สำหรับแซนด์บ็อกซ์ และการสแนปช็อตดิสก์ที่ให้ผู้ใช้สร้างอินสแตนซ์แซนด์บ็อกซ์ใหม่จากสแนปช็อตเพื่อขจัดปัญหาการเริ่มต้นแบบเย็น นอกจากนี้ Modal ยังประกาศว่าได้รับการรับรอง SOC 2 Type 2 แล้ว
Modal ประกาศความพร้อมใช้งานทั่วไปของ Sandboxes ซึ่งเป็น primitive สำหรับรันโค้ดที่ไม่น่าเชื่อถือจาก LLM ผู้ใช้ หรือแหล่งบุคคลที่สามอย่างปลอดภัยในสภาพแวดล้อมแบบแยกส่วนที่แยกจากทรัพยากรอื่นของ Modal Sandboxes มี exec API ที่เรียบง่าย สภาพแวดล้อมที่กำหนดค่าได้ขณะรันผ่าน Image API และสแนปช็อตระบบไฟล์เพื่อการคงอยู่ Modal ยังได้ upstream การสนับสนุนเข้าสู่ SWE-bench โดยแฟล็ก --modal ช่วยให้งาน 500 งานของ Verified benchmark รันได้ในเวลาประมาณ 7 นาที และอ้างถึง Poe ของ Quora, Codegen และ Relevance AI เป็นลูกค้า
Modal เปิดตัวรอบอัปเดตผลิตภัณฑ์ที่นำโดยการอัปเกรดครั้งใหญ่ของฟีเจอร์ memory snapshotting เวอร์ชัน beta ซึ่งระบุว่าสามารถลดเวลา cold start ได้ครึ่งหนึ่งสำหรับโมเดลอย่าง Stable Diffusion แพลตฟอร์มยังเพิ่มการรองรับ OpenID Connect สำหรับโทเค็นระบุตัวตนอายุสั้น, การบีบอัดอิมเมจ eStargz เพื่อให้ build จาก registry อย่าง ECR และ Docker Hub เร็วขึ้น และกำลังขยายคิวงาน async ไปสู่ขีดจำกัดอินพุต 1 ล้านรายการ จากเดิม 2 พันรายการ
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core
Fine-tuning ปรับน้ำหนักของ LLM ที่ผ่านการฝึกมาแล้วให้เหมาะกับงานหรือโดเมนเฉพาะ ให้คุณภาพสูงกว่า prompt engineering ด้วยต้นทุนและ latency ที่ต่ำกว่า Llama 7B ที่ผ่าน fine-tuning สามารถประหยัดต้นทุนต่อ token ได้ประมาณ 50 เท่าเมื่อเทียบกับ GPT-3.5 โดยมีประสิทธิภาพใกล้เคียงกัน คู่มือนี้ครอบคลุมกรณีการใช้งาน เช่น structured output การรักษาสไตล์ และคำสั่งเฉพาะโดเมน พร้อมตัวเลือก包括 OpenAI, Predibase, Modal, Google Colab และ AWS SageMaker และเฟรมเวิร์ก HuggingFace transformers, TRL และ Axolotl
Modal จัดแฮกกาธอนภายใน โดยพนักงาน 30 คนรวมตัวเป็น 13 ทีมเพื่อสร้างโปรเจกต์ที่ใช้ Modal ทั้งหมด Browserman เป็นเอเจนต์ AI แบบหลายรูปแบบที่สร้างด้วย Llama-3.2-90B-Vision-Instruct-FP8, vLLM และ Playwright ซึ่งนำทางเว็บด้วยภาพเพื่อทำงานให้สำเร็จ Glodal ได้ต้นแบบระนาบควบคุมแบบกระจายที่ลดเวลาตอบสนองของคำขอจาก 268ms เหลือ 3ms และตอนนี้ Modal กำลังพัฒนาเพื่อนำมันเข้าสู่แพลตฟอร์ม
ทีมฟุตบอลยุโรประดับท็อป ซึ่งถูกปิดชื่อเป็น AFC Richmond ได้ย้ายไปใช้แพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal สำหรับไปป์ไลน์ข้อมูลการติดตามการแข่งขัน และลดต้นทุนการประมวลผลเกมทั้งฤดูกาลได้ 50% ทีมรันการอนุมานจากการสังเกตการติดตามราว 3.5 ล้านครั้งต่อเกมผ่านโมเดลที่อิงทรานส์ฟอร์เมอร์ที่พัฒนาขึ้นเอง และด้วย Airflow บน Modal ตอนนี้ประมวลผลข้อมูลแต่ละเกมได้ในไม่กี่นาทีแทนที่จะใช้เวลาหลายชั่วโมง
Modal ได้ลงนามข้อตกลงความร่วมมือเชิงกลยุทธ์กับ AWS เพื่อช่วยให้ธุรกิจพัฒนาและปรับใช้ผลิตภัณฑ์ AI ได้เร็วขึ้นบนแพลตฟอร์มเซิร์ฟเวอร์เลสสำหรับงานที่เร่งความเร็วด้วย GPU ซึ่งสามารถเปิดคอนเทนเนอร์ที่ใช้ GPU ได้ภายในเวลาเพียงหนึ่งวินาที ตามข้อตกลง Modal จะลงทะเบียนใน AWS Marketplace และลงทุนในการผสานรวมต่างๆ เช่น AWS PrivateLink เพื่อให้บริการลูกค้าที่มีความต้องการด้านความปลอดภัยและความเป็นส่วนตัวเฉพาะ
OpenArt déployé เวิร์กโฟลว์ ComfyUI ที่เป็นกรรมสิทธิ์ของตนบน Modal โดยลดเวลาการติดตั้งจากหลายชั่วโมงบน AWS และ GCP เหลือเพียงไม่กี่นาที และปรับขนาดอัตโนมัติถึงคอนเทนเนอร์ GPU หลายร้อยตัว ปัจจุบัน Modal ขับเคลื่อนเวิร์กโฟลว์กว่า 100 รายการบนแพลตฟอร์ม ซึ่งให้บริการผู้ใช้ที่ใช้งานอยู่รายเดือนมากกว่า 3 ล้านคน
Modal เปิดตัวพร็อกซี IP แบบคงที่ซึ่งกำหนดเส้นทางทราฟฟิกขาออกผ่าน IP เฉพาะของเวิร์กสเปซ พร้อมการเชื่อมต่อ Slack แบบเนทีฟสำหรับการแจ้งเตือนแอปแบบเรียลไทม์ และแดชบอร์ดการใช้งานแบบเรียลไทม์ที่ติดตามทรัพยากรทั่วทุกแอปในเวิร์กสเปซ การอัปเดตครั้งนี้ยังเพิ่ม GPU fallback สำหรับฟังก์ชัน ขยายขอบเขตทรัพยากรที่ฟังก์ชันสามารถถูกจัดสรรได้ และการเปลี่ยนแปลงฝั่งไคลเอนต์ รวมถึง ID คอนเทนเนอร์ของ `modal shell` และการสแนปช็อตหน่วยความจำสำหรับฟังก์ชันที่รับพารามิเตอร์
Modal ให้เหตุผลว่าปัญหาการขาดแคลน GPU สำหรับ AI เกิดจากความไม่สอดคล้องกัน: ความต้องการส่วนใหญ่มุ่งไปที่การเทรน แต่รายได้มาจากการอนุมาน และภาระงานการอนุมานมีความผันผวนโดยธรรมชาติ เนื่องจากอัตราการร้องขอแกว่งตามรอบกลางวัน-กลางคืน รูปแบบรายสัปดาห์ ทราฟฟิกที่แพร่กระจายเร็ว และแนวโน้มการเติบโต การจอง GPU ระยะยาวแบบคงที่ทำให้อัตราการใช้งานคลัสเตอร์ในโลกจริงต่ำกว่า 50% การรวมความต้องการจากผู้ใช้จำนวนมาก — โดยจัดสรรสำหรับจุดสูงสุดของผลรวม แทนที่จะเป็นผลรวมของจุดสูงสุด — สามารถเพิ่มอัตราการใช้งานได้อย่างมาก และการรวมอุปทานข้ามภูมิภาคสามารถเพิ่มความยืดหยุ่นได้อีก
แอปสาธิตทำการค้นหาแบบไฮบริดทั่วทั้งรัฐแคลิฟอร์เนียโดยใช้การประทับเวลา ข้อมูลพิกัดทางภูมิศาสตร์ และ embedding จากภาพถ่ายดาวเทียมจากโมเดลพื้นฐาน Clay v1 โดย Modal ทำหน้าที่จัดการคำขอรายวันไปยัง Sentinel API การจัดเก็บใน MongoDB Atlas และการประมวลผล embedding บน GPU A10 พร้อมฟรอนต์เอนด์ Alpine JS ขนาดเล็กที่ให้บริการผ่าน FastAPI
Contextual AI ได้ทำ continuous integration บน GPU ให้เป็นอัตโนมัติและทำงานแบบขนานบน Modal แทนการรันทดสอบด้วยมือบนโหนด GPU ภายในองค์กร โดย GitHub Action จะทริกเกอร์ Modal Function ที่ผูก GPU หลายตัวไว้ และการสร้างอิมเมจแบบแคชทำให้การทดสอบเริ่มได้ภายใน 30 วินาทีหลังส่งงาน Modal คิดค่าบริการตามการใช้งาน ดังนั้น 99% ของยอดที่เรียกเก็บคือเวลาในการรันทดสอบจริง
Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%
Modal เปิดตัวฟีเจอร์ app rollbacks ที่ให้ผู้ใช้ย้อนกลับแอปที่ deploy แล้วไปยังเวอร์ชันก่อนหน้าจากแดชบอร์ดหรือ CLI พร้อมกับ decorator @batched ที่รวบรวมคำขอเป็นแบตช์ขนาดไดนามิกเพื่อแลกความหน่วงกับ throughput และการใช้ GPU ให้สูงขึ้น วัตถุ Sandbox สามารถส่งต่อพอร์ต TCP ไปยังอินเทอร์เน็ตและ exec โปรเซสเพิ่มเติมได้แล้ว และสามารถส่งออกบันทึกไปยังผู้ให้บริการ OpenTelemetry ได้ นอกจากนี้ CPU cores และ GPU ระดับสูงยังมีราคาถูกลง
ขณะนี้ Modal รองรับเวิร์กโหลดที่สอดคล้องกับ HIPAA โดยพร้อมให้บริการสำหรับลูกค้าแผน Enterprise ที่ลงนามในข้อตกลง Business Associate Agreement (BAA) ผ่าน security@modal.com ฟีเจอร์ทั้งหมดของ Modal อยู่ในขอบเขตของ BAA ยกเว้น Volumes, Images (ไม่รวม Filesystem และ Directory Snapshots), Memory Snapshots และโค้ดของผู้ใช้ ซึ่งไม่ควรวาง PHI ไว้ Modal อ้างถึงการจัดการข้อมูลแบบ least-privilege และรันไทม์แซนด์บ็อกซ์ gVisor เป็นรากฐานด้านความปลอดภัย ต่อยอดจากการประกาศ SOC 2 Type 1 และการรับรอง SOC 2 Type 2 ที่อยู่ระหว่างดำเนินการ
Cursor ได้พัฒนา shadow workspace ที่ให้ AI ของตนแก้ไขในหน้าต่าง Electron ที่ซ่อนอยู่และอ่านผลลัพธ์ lint กลับมาโดยไม่กระทบเซสชันการแก้ไขของผู้ใช้ โพสต์ดังกล่าวสรุปเป้าหมายการออกแบบด้านความพร้อมใช้งานของ LSP ความเป็นอิสระ ความเป็นส่วนตัว การทำงานพร้อมกัน และความเร็ว และอธิบายว่าทำไมการคัดลอก TextModel หรือการรัน language server แยกต่างหากจึงล้มเหลว นอกจากนี้ยังร่างแนวทาง folder proxy ระดับเคอร์เนลในอนาคตเพื่อความสามารถในการรัน โดยระบุว่า macOS และ Windows ไม่มีเส้นทาง FUSE ที่ใช้งานได้ และการสนับสนุน Rust LSP ในปัจจุบันยังไม่มี
Modal ประกาศลดราคา CPU และ GPU รุ่นทรงพลังที่สุดบางรุ่นลง 15-30% โดยให้เหตุผลว่ามีการแข่งขันในกลุ่มผู้จัดหา GPU เพิ่มมากขึ้น และมีการเปิดตัว GPU ที่ทรงพลังกว่าในช่วงหนึ่งปีที่ผ่านมา บริษัทยังเปลี่ยนรูปแบบการคิดค่าบริการ CPU/หน่วยความจำ เป็นคิดตาม max(การจอง, การใช้งานจริง) ต่อคอนเทนเนอร์ที่กำลังทำงาน โดยมีการจองขั้นต่ำเริ่มต้นที่ 0.125 คอร์ CPU สำหรับทุก Functions แพ็กเกจ Team ปรับขึ้นเป็น 250 ดอลลาร์/เดือน พร้อมที่นั่งไม่จำกัดและเครดิต 100 ดอลลาร์/เดือน โดยราคาใหม่จะมีผลในเดือนกันยายนสำหรับผู้ใช้ Starter และ Team/Enterprise ที่ได้รับผลกระทบ
Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด
ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่มการผสานรวม Datadog ที่ส่งต่อบันทึกแอปพลิเคชันและบันทึกการตรวจสอบได้ในคลิกเดียว พร้อมการเลือกภูมิภาคคลาวด์สำหรับฟังก์ชันเพื่อตอบสนองความต้องการด้านกฎระเบียบ ต้นทุนขาออก หรือตำแหน่งฐานข้อมูล บริษัทยังปรับปรุงระบบเรียกฟังก์ชันใหม่เพื่อให้มีปริมาณงานสูงขึ้นโดยมีค่าใช้จ่ายส่วนเกินต่ำลงอย่างมีนัยสำคัญ มุ่งเป้าไปที่เวิร์กโหลดการผลิตแบบเรียลไทม์ที่มีเวลาตอบสนองต่ำ และยกเครื่องหน้ารายละเอียดแอปใหม่ด้วยการซูมตามช่วงเวลา สถานะคอนเทนเนอร์ และมุมมองระบบไฟล์อิมเมจ
Basis จัด Prompt Olympics การแข่งขันวิศวกรรมพรอมต์สไตล์competitive programming ชิงเงินรางวัล $5,000 และรันบนโครงสร้างพื้นฐานของ Modal ในโจทย์หนึ่ง ผู้เข้าร่วมเขียนพรอมต์เพื่อควบคุม LLaMA 3 70B ซึ่งติดตั้งบน Modal ให้สร้างโค้ดที่ต้องผ่านการทดสอบภายใน Modal Sandboxes รอบชิงชนะเลิศให้ผู้เล่นพรอมต์โมเดลเพื่อควบคุมเอเจนต์เกม Crafter; Basis พบว่าแม้แต่โมเดลโอเพนซอร์สที่มีความสามารถอย่าง LLaMA 3 70B ก็ยังยากต่อการพรอมต์อย่างมีประสิทธิภาพ จึงเปลี่ยนไปใช้ API ของโมเดลเชิงพาณิชย์สำหรับองค์ประกอบนั้น