ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#การติดตั้งใช้งาน / วิศวกรรม
23 กรกฎาคม 2025วันพุธ
  1. Modal Blog52

    Modal เปิดตัวโมเดล ASR สำหรับถอดเสียงแบบแบตช์ด้วยความเร็วและต้นทุนที่ดีขึ้น 100 เท่า

    Modal ได้พัฒนาบริการถอดเสียงแบบแบตช์บนแพลตฟอร์มของตนโดยใช้ parakeet-tdt-0.6b-v2 และ canary-1b-flash ของ NVIDIA โดยรายงานว่าประสิทธิภาพแบบ end-to-end เร็วกว่า 100 เท่าหรือถูกกว่า 100 เท่าเมื่อเทียบกับ API ASR เชิงพาณิชย์ยอดนิยม ขณะที่อัตราความผิดพลาดใกล้เคียงกันกับเสียงทดสอบ ESB ประมาณหนึ่งสัปดาห์ ทีมงานระบุว่าประสิทธิภาพที่ดีขึ้นนี้มาจากการสลับไฟล์ระหว่างชุดคำขอ การเรียงลำดับเสียงตามความยาวภายในชุด GPU การดาวน์โหลดแบบขนาน และการเลือกการกำหนดค่า GPU และ worker จากข้อมูลเชิงประจักษ์ บทความอธิบายสถาปัตยกรรมและขั้นตอนการปรับแต่งเพื่อให้ผู้อื่นสามารถสร้างบริการที่คล้ายกันได้

16 กรกฎาคม 2025วันพุธ
  1. Modal Blog30

    คิดราคาต่อโทเคนเป็นอันตราย: ทำไมการอนุมาน LLM แบบโฮสต์เองจึงควรคิดราคาต่อคำขอ

    บทความใน Modal Blog โต้แย้งว่าราคาแบบ "ดอลลาร์ต่อโทเคน" ซึ่งสืบทอดมาจากผู้ให้บริการ API อย่าง OpenAI, Anthropic และ Alphabet สร้างผลเสียอย่างมากต่อทีมที่รันการอนุมาน LLM แบบโฮสต์เอง โดยอ้างว่าผู้ใช้แอปพลิเคชันสนใจคำขอมากกว่าโทเคน และจำเป็นต้องใช้กรอบการคิดแบบต่อคำขอเพื่อวิเคราะห์เวลาแฝง จำนวนรีพลิกา และต้นทุนการประมวลผล

11 กรกฎาคม 2025วันศุกร์
  1. Modal Blog40

    อัปเดตผลิตภัณฑ์ Modal: คลัสเตอร์ฝึกอบรมหลายโหนด, GPU B200 และ H200, และ Client 1.0

    Modal ได้เปิดตัวคลัสเตอร์ฝึกอบรมหลายโหนดในเวอร์ชันเบต้า ช่วยให้ผู้ใช้เข้าถึง GPU หลายสิบตัวข้ามโฮสต์หลายเครื่องได้โดยการเพิ่ม @clustered decorator พร้อมการเชื่อมต่อ Infiniband RDMA ความเร็ว 3.2 Tbps เพื่อการขยายขนาดแบบเกือบเชิงเส้น แพลตฟอร์มนี้ยังมี GPU NVIDIA B200 และ H200 แบบเซิร์ฟเวอร์เลสในราคา $6.25/ชม. และ $4.54/ชม. ตามลำดับ โดยอ้างว่าการอนุมาน LLM เร็วขึ้นถึง 2-4 เท่าเมื่อเทียบกับ H100s Modal ยังเปิดตัว Client 1.0 โดยเน้นความเสถียรของ API พร้อมอัปเดตอื่นๆ รวมถึงเมธอด Volume แบบอ่านอย่างเดียวและการรองรับเขตเวลาสำหรับตารางเวลา Cron

  2. Modal Blog31

    Jamsocket เข้าร่วมกับ Modal

    Jamsocket แพลตฟอร์มแบ็กเอนด์เบื้องหลังออร์เคสเตรเตอร์โอเพนซอร์สอย่าง Plane, Y-Sweet และ ForeverVM กำลังเข้าร่วมกับ Modal โดยผู้ร่วมก่อตั้ง Paul Butler และ Taylor Baldwin จะเข้าร่วมทีม Modal ผลิตภัณฑ์ของ Jamsocket จะยังคงดำเนินงานตามปกติ ขณะที่ฟังก์ชันหลักกำลังถูกย้ายไปยัง Modal ซึ่งผู้ก่อตั้งกล่าวว่าช่วยให้ลูกค้าที่เน้น AI สามารถดีพลอย GPU inference, code sandboxes และแบ็กเอนด์แบบเรียลไทม์จากแพลตฟอร์มเดียว

7 กรกฎาคม 2025วันจันทร์
  1. Modal Blog28

    Modal ช่วยให้สร้างแอป Lovable 250,000 แอปในสุดสัปดาห์เดียวได้อย่างไร

    Lovable ใช้ Modal Sandboxes รันโค้ดที่สร้างโดย LLM ในช่วงสุดสัปดาห์โปรโมชันเดือนมิถุนายน 2025 ร่วมกับ Anthropic, OpenAI และ Google ทำให้ผู้ใช้สามารถสร้างแอปได้ประมาณ 250,000 แอปใน 48 ชั่วโมง Modal รัน sandbox มากกว่า 1 ล้านตัว โดยมีสูงสุดถึง 20,000 ตัวพร้อมกันที่จุดพีค ขณะที่เซสชันพร้อมกันของ Lovable พุ่งขึ้น 2.5-3 เท่า และทีมแพลตฟอร์มไม่ถูกเรียกตัวแม้แต่ครั้งเดียว Lovable ลดโค้ดจัดการ sandbox จาก 15,000 บรรทัดเหลือ 700 บรรทัดหลังเปลี่ยนมาใช้ Modal

2 กรกฎาคม 2025วันพุธ
  1. Modal Blog40

    Modal ใช้ Evals และการขยายคอมพิวต์ตอนอนุมานเพื่อสร้าง QArt Code ที่สแกนได้อย่างไร

    Modal ใช้ evals และการขยายคอมพิวต์ตอนอนุมานเพื่อปรับปรุงระบบ QArt code ของตน เพิ่มอัตราการสแกน QR ไปถึงเป้าหมายระดับบริการ 95% พร้อมทั้งปรับปรุงคุณภาพด้านความสวยงามและคืนรหัสได้ภายในเวลาไม่ถึง 20 วินาทีที่ p95 งานนี้เดินตามแนวทาง ML มาตรฐาน คือการเก็บคำตัดสินของมนุษย์ ปรับให้สอดคล้องกับคำตัดสินเหล่านั้น แล้วจึงขยายขนาด ซึ่งช่วยแก้ปัญหาช่องว่างแบบ "it worked on my prompt" ที่ทำให้ QR code ที่สร้างขึ้นจำนวนมากสแกนไม่ได้

30 มิถุนายน 2025วันจันทร์
  1. Modal Blog28

    Quora ใช้ Modal รัน Python sandbox หลายพันตัวพร้อมกันได้อย่างไร

    Quora ใช้ Modal Sandboxes เพื่อรันโค้ดที่สร้างโดย LLM อย่างปลอดภัยใน Poe แพลตฟอร์มแชทบอต AI ของบริษัท โดยเปิดตัวฟีเจอร์นี้เร็วกว่าการสร้างระบบภายในองค์กรเองหลายเดือน ทีมงานทดสอบความสามารถในการสร้าง Sandbox จนถึง 1000 sandbox ต่อวินาที และรายงานว่าประหยัดเวลาการบำรุงรักษาโครงสร้างพื้นฐานอย่างต่อเนื่องได้เทียบเท่าวิศวกร 2 คน

26 มิถุนายน 2025วันพฤหัสบดี
  1. Vapi Blog38

    Vapi เปิดตัวแคมเปญโทรออกผ่านการอัปโหลด CSV

    Vapi ตอนนี้ให้ผู้ใช้ออกแคมเปญโทรออกได้โดยการอัปโหลด CSV ของหมายเลขโทรศัพท์และตัวแปรที่กำหนดเอง จากนั้นมอบหมายผู้ช่วยหรือเวิร์กโฟลว์ให้ทำงาน Vapi จัดการคิว การทำงาน และการบันทึก โดยสถานะการโทรแสดงในแดชบอร์ด แคมเปญต้องใช้หมายเลขโทรศัพท์ที่ยืนยันแล้ว เนื่องจากไม่สามารถใช้หมายเลขของ Vapi ได้

24 มิถุนายน 2025วันอังคาร
  1. Vapi Blog22

    Mistral vs Llama 3: การเปรียบเทียบแบบครบถ้วนสำหรับแอปพลิเคชัน Voice AI

    Mistral และ Llama 3 มีแนวคิดที่แตกต่างกันสำหรับ Voice AI: โมเดล Mistral ตั้งแต่ 7B ถึง Mistral Small 3.1 (24B) เน้นประสิทธิภาพแบบ low-latency ขณะที่ Llama 3 ขยายจาก 8B ถึง 70B เพื่อการ reasoning ที่แข็งแกร่งขึ้นและการรองรับหลายภาษา Mistral Small 3.1 ใช้เวลา 0.29 วินาทีถึง token แรกที่ 150-166 tokens ต่อวินาที และ Mistral Small 24B เอาชนะ Llama 3.1 8B Instruct ใน ARC-C, GPQA และ MMLU ขณะที่ Llama 3.1 405B ทำคะแนนได้ 85.2% ใน MMLU และ 96.8% ใน GSM8K

23 มิถุนายน 2025วันจันทร์
  1. Vapi Blog22

    8 ทางเลือกแทน Azure สำหรับ Voice AI STT บน Vapi

    Vapi ตอนนี้มีผู้ให้บริการ speech-to-text แปดราย — Gladia, AssemblyAI, Deepgram, Cartesia, Talkscriber, OpenAI, Speechmatics และ ElevenLabs — เป็นทางเลือกที่เปลี่ยนแทน Azure ได้ทันทีสำหรับ voice agents การสลับผู้ให้บริการใช้เพียงเปลี่ยนพารามิเตอร์ JSON หนึ่งค่า ทำให้นักพัฒนาสามารถเปรียบเทียบ latency ต้นทุน และการปฏิบัติตามข้อกำหนดได้ Gladia อ้างว่า latency แบบ end-to-end ต่ำกว่า 100 ms, AssemblyAI รวมสรุปและ PII redaction ไว้ในการเรียก API ครั้งเดียว และ Cartesia ทำงานบน on-premises ได้เต็มรูปแบบ

19 มิถุนายน 2025วันพฤหัสบดี
  1. Vapi Blog22

    Gemini Flash กับ Pro: เปรียบเทียบ LLM รุ่นล่าสุดของ Google

    Gemini 2.5 Flash และ 2.5 Pro ของ Google แตกต่างกันหลักๆ ที่ความเร็วเทียบกับความลึกของการให้เหตุผล โดยทั้งคู่มีหน้าต่างบริบท 1M โทเคน และพร้อมใช้งานแบบเนทีฟใน Vapi สำหรับ voice agent โดย Flash ส่งโทเคนแรกใน 0.21–0.37 วินาที ที่ 163 โทเคนต่อวินาที และมีค่าใช้จ่าย $0.15/$0.60 ต่อล้านโทเคนอินพุต/เอาต์พุต ขณะที่ Pro มีค่าใช้จ่าย $1.25/$10 และเพิ่มโหมด Deep Think พร้อมแผนรองรับหน้าต่าง 2M โทเคน

18 มิถุนายน 2025วันพุธ
  1. Modal Blog58

    Modal เผยวิธีรัน FLUX.1-dev เร็วขึ้นสามเท่า

    วิศวกรของ Modal อธิบายการทำให้ FLUX.1-dev ของ Black Forest Labs ทำงานเร็วขึ้นประมาณสามเท่าในรูปแบบบริการ autoscaling โดยลดเวลาสร้างภาพขนาด 1024x1024 จากราว 6.75 วินาทีเหลือต่ำกว่าสามวินาที การปรับแต่งมาตรฐาน ได้แก่ Torch compiler พร้อม max-autotune, fused QKV attention และ channels-last memory layout ให้ความเร็วเพิ่มราว 1.5 เท่า ขณะที่ First Block Caching จาก repo ParaAttention ซึ่งอ้างอิงงานวิจัย TEACache เพิ่มความเร็วอีก 2 เท่าที่ threshold 0.12 ส่วน compile caches และ Modal Memory Snapshots ลดเวลา cold start ได้ 30 เท่า

17 มิถุนายน 2025วันอังคาร
  1. Vapi Blog38

    Deepgram Nova-3 กับ Nova-2: วิวัฒนาการของ STT Engine

    Nova-3 ของ Deepgram ลดอัตราความผิดพลาดระดับคำแบบสตรีมมิ่งจาก 8.4% ของ Nova-2 เหลือ 6.84% และทำ WER แบบแบตช์ได้ 5.26% ซึ่งเป็นการลดความผิดพลาดแบบสตรีมมิ่งลง 54.3% Nova-3 แทนที่โมเดลเฉพาะโดเมนแยกของ Nova-2 ด้วยเครือข่ายปรับตัวได้เพียงตัวเดียว และเพิ่มการจัดการบทสนทนาหลายภาษาแบบเรียลไทม์ รองรับคำกำหนดเองแบบเซลฟ์เซอร์วิสสูงสุด 100 คำโดยไม่ต้องเทรนใหม่ และการปิดบังข้อมูลสูงสุด 50 เอนทิตี ทั้งสองโมเดลทำงานแบบเนทีฟบน Vapi ด้วยเอนด์พอยต์เดียวกัน การสลับจึงเป็นเพียงการเปลี่ยนพารามิเตอร์ แม้ Nova-3 จะอยู่ในระดับราคาพรีเมียมของ Deepgram

9 มิถุนายน 2025วันจันทร์
  1. Modal Blog40

    Modal 1.0 เปิดตัว: Python SDK ที่เสถียรยิ่งขึ้นพร้อมการกำหนดค่าที่ชัดเจน

    Modal ได้เปิดตัวเวอร์ชัน 1.0 ของไคลเอนต์ Python SDK ซึ่งเป็นหมุดหมายที่บริษัทกล่าวว่าจะนำมาซึ่งความสมบูรณ์และความเสถียรในระดับใหม่ให้กับแพลตฟอร์มคลาวด์คอมพิวต์แบบเซิร์ฟเวอร์เลส โดยคาดว่าจะมีการเปลี่ยนแปลงที่ทำให้เกิดการแตกหักน้อยลงมากในอนาคต การเปิดตัวนี้ได้ลบพฤติกรรมแบบ "เวทมนตร์" เช่นการเมานต์แพ็กเกจในเครื่องโดยอัตโนมัติ แยกฟังก์ชันหลักออกเป็นเดคอเรเตอร์แยกต่างหาก เช่น @modal.concurrent ใหม่ และรวมการจัดการไฟล์ในเครื่องไว้ภายใต้คลาส modal.Image นอกจากนี้ Modal ยังวางแผนที่จะมี SDK สำหรับภาษาอื่นๆ และกำลังสำรวจว่าแพลตฟอร์มควรให้บริการเวิร์กโฟลว์เอเจนต์ที่ขับเคลื่อนด้วย AI อย่างไร

4 มิถุนายน 2025วันพุธ
  1. Vapi Blog22

    สามตัวอย่างของ AI เสียงที่ช่วยพัฒนาระบบโลจิสติกส์

    Vapi นำเสนอกรณีการใช้งาน AI เสียงในระบบโลจิสติกส์สามกรณี: ShipEX ใช้ระบบเสียงอัจฉริยะกับรถบรรทุก 350 คันเพื่อจัดการการแจ้งเตือนการบำรุงรักษาและรายงานอุบัติเหตุ ระบบหยิบสินค้าด้วยเสียงของ Idaho State Liquor Division เพิ่มอัตราการหยิบสินค้าได้ 35% และช่างเทคนิคซ่อมบำรุงบันทึกปัญหาด้วยเสียงเพื่อสร้างใบสั่งงาน CMMS โดยอัตโนมัติ บทความยังอธิบายรายละเอียดการเชื่อมต่อ API กับระบบ TMS, CRM และ WMS รวมถึงข้อควรพิจารณาในการติดตั้งใช้งาน

  2. Vapi Blog22

    11 ทางเลือก ElevenLabs ที่ยอดเยี่ยม: โมเดล TTS แบบ Vapi-Native

    Vapi มีโมเดลแปลงข้อความเป็นเสียงในตัว 11 โมเดลเป็นทางเลือกแทน ElevenLabs ได้แก่ Neu-hq และ Neu-fast ของ Neuphonic, กลุ่มผลิตภัณฑ์ Sonic ของ Cartesia, Azure TTS, OpenAI TTS, Deepgram, Lightning ของ Smallest AI, LMNT, PlayHT, Octave ของ Hume และ Mist v2 ของ Rime AI นักพัฒนาสามารถสลับระหว่างโมเดลเหล่านี้ได้ในไม่กี่นาทีโดยไม่ต้องเขียนโค้ดใหม่ และ Vapi ระบุว่าบริการจัดการสายเสียงมากกว่าหนึ่งล้านสายต่อวันผ่านโมเดลเหล่านี้

30 พฤษภาคม 2025วันศุกร์
  1. Modal Blog42

    Modal เพิ่ม GPU Nvidia B200 และ H200 ในราคา 6.25 และ 4.54 ดอลลาร์ต่อชั่วโมง

    Modal เปิดให้ผู้ถือบัญชีทุกคนสามารถใช้ GPU Nvidia B200 และ H200 ได้โดยไม่ต้องติดต่อฝ่ายขายหรือขอโควตา โดยคิดราคาที่ 6.25 ดอลลาร์ต่อชั่วโมงและ 4.54 ดอลลาร์ต่อชั่วโมงตามลำดับ B200 มีหน่วยความจำ HBM3e 180 GB และแบนด์วิดท์ 8 TB/s และในการทดสอบ vLLM ของ Modal ที่รัน DeepSeek V3 ในความแม่นยำ 8-bit การใช้ 8xB200 ลดเวลามัธยฐานถึงโทเคนแรกได้ 2.5 เท่าเมื่อเทียบกับ 8xH200 ที่ 1 คำขอต่อวินาที

28 พฤษภาคม 2025วันพุธ
  1. Vapi Blog30

    DeepSeek R1 กับ V3 สำหรับนักพัฒนา Voice AI

    DeepSeek V3 ประมวลผลโทเค็นต่อวินาทีมากกว่า R1 อยู่ 47% ในราคา 0.28 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต ขณะที่ R1 มีค่าใช้จ่าย 2.19 ดอลลาร์ต่อล้านโทเค็นและรันลูปการให้เหตุผลภายในสำหรับงานที่ยากขึ้น R1 ทำคะแนนได้ 97.3% บน MATH-500 และ 79.8% บน AIME 2024 เทียบกับ V3 ที่ได้ 90.2% และ 39.2% ทีมส่วนใหญ่กำหนดเส้นทาง 80-90% ของคำถามง่าย ๆ ไปยัง V3 และส่งงานให้เหตุผลที่ซับซ้อนไปยัง R1

26 พฤษภาคม 2025วันจันทร์
  1. Vapi Blog10

    ความรู้เบื้องต้นเกี่ยวกับ SRTP: โปรโตคอลการรับส่งข้อมูลแบบเรียลไทม์ที่ปลอดภัย

    SRTP ช่วยรักษาความปลอดภัยของสตรีมเสียงและวิดีโอ RTP โดยเพิ่มเพย์โหลดที่เข้ารหัส แท็กการรับรองความถูกต้อง และตัวระบุคีย์หลักลงในแต่ละแพ็กเก็ตสื่อ โดยอาศัยโหมด AES counter และแท็กการรับรองความถูกต้อง HMAC-SHA1 เป็นหลัก พร้อมหมายเลขลำดับที่ป้องกันการโจมตีแบบเล่นซ้ำ และทำงานร่วมกับ DTLS-SRTP หรือ SDES สำหรับการแลกเปลี่ยนคีย์ SRTP ถูกวางตำแหน่งเป็นทางเลือกในชั้นแอปพลิเคชันที่มีโอเวอร์เฮดต่ำสำหรับการสื่อสารแบบเรียลไทม์ โดยอ้างอิง GDPR, HIPAA และ CPRA เป็นปัจจัยขับเคลื่อนด้านการปฏิบัติตามข้อกำหนด

  2. Vapi Blog18

    ไฟล์ Env และตัวแปรสภาพแวดล้อมสำหรับโปรเจกต์ Voice AI

    คู่มือการใช้งานไฟล์ .env และการตั้งค่าสภาพแวดล้อมในโปรเจกต์ Voice AI ครอบคลุมการตั้งค่า dotenv สำหรับ Node.js และ Python การเพิ่ม .env ลงใน .gitignore และคีย์เฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_PROJECT_ID โดยอ้างอิงการค้นพบของ GitGuardian ที่พบ secrets รั่วไหลบน GitHub จำนวน 12.8 ล้านรายการในปี 2023 เพิ่มขึ้น 28% และแนะนำให้แยกไฟล์ env ตามสภาพแวดล้อม พร้อมเครื่องมือเช่น git-crypt, SOPS, AWS Secrets Manager และ HashiCorp Vault

23 พฤษภาคม 2025วันศุกร์
  1. Vapi Blog18

    Amazon Lex กับ Dialogflow: คู่มือเปรียบเทียบแพลตฟอร์มฉบับสมบูรณ์

    Amazon Lex เหมาะกับทีมที่ใช้งาน AWS อยู่แล้วและต้องการการผสานรวมที่แน่นแฟ้นกับบริการของ Amazon ขณะที่ Dialogflow มีการรองรับภาษาที่กว้างกว่าและมีเส้นทางการเรียนรู้ที่ง่ายกว่าสำหรับผู้เริ่มต้น Lex ใช้เทคโนโลยีของ Alexa โดยมีราคาแบบจ่ายตามการใช้งาน รวมถึงระดับฟรี 10,000 คำขอข้อความและ 5,000 คำขอเสียงต่อเดือนในปีแรก และ Dialogflow รองรับมากกว่า 30 ภาษาพร้อมเอเจนต์สำเร็จรูปและการวิเคราะห์ความรู้สึก

  2. Vapi Blog8

    เชี่ยวชาญตัวแปรสภาพแวดล้อมสำหรับการผสานรวม Vapi Voice AI

    คู่มือของ Vapi อธิบายวิธีกำหนดค่าตัวแปรสภาพแวดล้อมสำหรับการผสานรวม Voice AI ครอบคลุมตัวแปรชั่วคราวเทียบกับถาวร และระดับผู้ใช้เทียบกับระดับระบบ โดยมีรายละเอียดการตั้งค่าบน Windows, macOS และ Linux พร้อมตัวอย่างเฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_MULTILINGUAL_SUPPORT รวมถึงแนวปฏิบัติที่ดีที่สุดด้านการตั้งชื่อและความปลอดภัย เช่น การไม่ฮาร์ดโค้ด API key

22 พฤษภาคม 2025วันพฤหัสบดี
  1. Modal Blog58

    Modal เปิดตัว Batch ประมวลผล 1 ล้านงานด้วยโค้ดบรรทัดเดียว

    Modal เปิดตัว Modal Batch ซึ่งเป็นอินเทอร์เฟซสำหรับประมวลผลแบบแบตช์ที่รองรับคิวแบบคงทนที่สร้างใหม่ สามารถจัดคิวอินพุตได้ครั้งละ 1 ล้านรายการ เพิ่มขึ้นจาก 2,000 รายการ และรับประกันการทำงานได้นานถึง 7 วันหลังจากเริ่มงาน เพิ่มขึ้นจาก 1 วัน มีตัวจัดการแบบเนทีฟใหม่ .spawn_map ที่สร้างคอนเทนเนอร์หลายพันตัวจากชุดอินพุตโดยที่ผู้ใช้ไม่ต้องจัดการลอจิกแบบอะซิงโครนัสเอง และ Harvey รายงานว่ากระบวนการประมวลผลเอกสารเร็วขึ้น 10 เท่าหลังจากกระจายอินพุตไปยังคอนเทนเนอร์ 1,000 ตัว Suno ใช้มันเพื่อรันการประมวลผลล่วงหน้าที่เร่งด้วย GPU บน GPU หลายพันตัว และ Achira พึ่งพากลไกการลองใหม่สำหรับชุดข้อมูลกลศาสตร์ควอนตัม

20 พฤษภาคม 2025วันอังคาร
  1. Modal Blog34

    Modal ยกระดับขีดจำกัดที่เก็บข้อมูล KV แบบเซิร์ฟเวอร์เลส Dict เป็นไม่จำกัด พร้อมระบบล็อกใหม่

    Modal อัปเกรดที่เก็บข้อมูลคีย์-แวลูแบบเซิร์ฟเวอร์เลส Dict: Dict ที่สร้างใหม่มีที่เก็บข้อมูลไม่จำกัด แทนขีดจำกัดเดิม 10GiB และการหมดอายุของรายการเปลี่ยนเป็น 7 วันนับจากการเขียนหรืออ่านครั้งล่าสุด แฟล็ก skip_if_exists ใหม่บน .put() ช่วยให้ทำ distributed locking และความหมายแบบ "exactly once" ได้ และ Dict มีความทนทานของข้อมูลแล้ว การเปลี่ยนแปลงนี้ใช้เฉพาะกับ Dict ที่สร้างใหม่เท่านั้น

7 พฤษภาคม 2025วันพุธ
  1. Modal Blog36

    ตัวแก้ปัญหาทรัพยากรแบบโปรแกรมเชิงเส้นของ Modal สำหรับความจุ GPU และการเก็งกำไรบนคลาวด์

    Modal สร้าง "ตัวแก้ปัญหาทรัพยากร" ที่ใช้โปรแกรมเชิงเส้นและอัลกอริทึมซิมเพล็กซ์เพื่อตัดสินใจว่าจะเปิดหรือปิดอินสแตนซ์คลาวด์ใด ตอบสนองความต้องการ GPU ในราคาที่คาดการณ์ได้ ระบบยังจับการเก็งกำไรชั่วคราว เช่น GPU H200 หลายร้อยตัวในราคาต่ำกว่าอัตราตลาดของ H100 20% ประหยัดเงินได้หลายล้านดอลลาร์ต่อปี

30 เมษายน 2025วันพุธ
  1. Modal Blog38

    Modal เปิดตัว SDK เวอร์ชัน alpha สำหรับ JavaScript และ Go

    Modal เปิดตัว SDK เวอร์ชัน alpha อย่างเป็นทางการสำหรับ JavaScript และ Go ช่วยให้นักพัฒนาสามารถเรียกใช้ Modal Functions ที่ deploy แล้วและสร้าง sandbox แบบแยกได้จากบริการ Node, Next.js หรือ Go โดยไม่ต้องเขียน Python ตัว SDK ไม่สามารถ deploy ฟังก์ชันได้ ซึ่งยังต้องใช้ Python และรองรับเฉพาะชนิดข้อมูลแบบ JSON-like หรือ bytes เท่านั้นในตอนนี้ Modal กล่าวว่าสามารถรัน sandbox 10,000 รายการในภาษาใดภาษาหนึ่งได้โดยไม่มีปัญหา

24 เมษายน 2025วันพฤหัสบดี
  1. Modal Blog22

    Lemon Slice สร้างวิดีโอเชิงสร้างแบบเรียลไทม์ด้วย Modal และ Daily ได้อย่างไร

    Lemon Slice สร้าง Lemon Slice Live ซึ่งเป็นผลิตภัณฑ์สำหรับการสนทนาวิดีโอแบบเรียลไทม์กับตัวละคร AI โดยใช้ Modal และ primitives ที่มีความหน่วงต่ำของ Daily เพื่อให้ได้ความหน่วงในการตอบสนองวิดีโอแบบ end-to-end ที่ 3-6 วินาที ไปป์ไลน์นี้รันเซิร์ฟเวอร์ Pipecat และโมเดลวิดีโอขนาด 1B พารามิเตอร์บนคอนเทนเนอร์ Modal แยกกันที่สื่อสารผ่าน Tunnel ของ Modal และถูกจัดวางร่วมกันกับการเลือกภูมิภาค โดยมี Deepgram, Grok และ ElevenLabs รับผิดชอบการแปลงเสียงเป็นข้อความ การตอบสนองของ LLM และการแปลงข้อความเป็นเสียง ก่อนหน้านี้ Python Modal Functions สองตัวช่วยให้ Lemon Slice ขยาย規模ได้ถึง 10,000 คำขอต่อชั่วโมงโดยไม่ต้องจัดการคลัสเตอร์ ECS คิวงาน หรือโหลดบาลานเซอร์

18 เมษายน 2025วันศุกร์
  1. Modal Blog22

    sync. 如何利用 Modal 每天对 100 小时视频进行唇形同步

    sync. 正在利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，然后将每个场景传递给其在 A100 上专有的 LipSync GenAI 模型。该团队每天部署多达 95 次，并在从 Google Colab 原型和 AWS Lambda 迁移后，一年内向生产环境交付了 10 个主要模型变体。

17 เมษายน 2025วันพฤหัสบดี
  1. Modal Blog25

    อัปเดตผลิตภัณฑ์ Modal: งานแบบแบตช์ที่รองรับอินพุต 1M รายการ, แอปชั่วคราว และตัวอย่าง TensorRT-LLM

    ตอนนี้ Modal ให้แต่ละ Function เข้าคิวอินพุตได้สูงสุด 1 ล้านรายการ เพิ่มขึ้นจาก 2k พร้อมขีดจำกัดอัตราการเรียก .spawn() ที่สูงขึ้น และเก็บผลลัพธ์ FunctionCall ไว้ 7 วัน การอัปเดตนี้ยังเพิ่มแอปชั่วคราวผ่าน app.run() ภายในคอนเทนเนอร์ ข้อมูล Git commit สำหรับแอปใน CLI และแดชบอร์ด และตัวอย่าง TensorRT-LLM ใหม่ที่ให้บริการ LLM ด้วยความหน่วงต่ำกว่า 400 ms

1 เมษายน 2025วันอังคาร
  1. Vapi Blog20

    การขยายการรับลูกค้าเบื้องต้นด้วย Vapi Voice AI Agents: กรณีศึกษาของที่ปรึกษา

    Christian Ulstrup ที่ปรึกษาจาก GSD at Work ใช้ Vapi voice AI agents แทนการนัดสายค้นหาความต้องการแบบกำหนดเวลา ด้วยระบบรับข้อมูลเสียงแบบอะซิงโครนัสสำหรับเวิร์กช็อป AI Action Sessions ของเขา ผู้เข้าร่วมโทรเข้าสายโทรศัพท์ Vapi เฉพาะตามความสะดวก และทรานสคริปต์พร้อมสรุปที่สร้างโดย AI จะไหลเข้าสู่ Slack ผ่าน Zapier และถูกบันทึกใน HubSpot สำหรับลูกค้ารายล่าสุด 20 คนจากทั่วโลกมีส่วนร่วมในการค้นหาความต้องการรวมกว่า 3 ชั่วโมง และเซสชันได้รับคะแนน 5 จาก 5

17 มีนาคม 2025วันจันทร์
  1. Modal Blog22

    Modal ลดราคา GPU, CPU และหน่วยความจำสูงสุดถึง 65% พร้อมรีแบรนด์ใหม่

    Modal ลดราคา GPU, CPU และหน่วยความจำลงสูงสุดถึง 65% และผู้ใช้แพ็กเกจ Team สามารถรัน GPU พร้อมกันได้สูงสุดถึง 50 ตัวแล้ว ตอนนี้ Modal SDK อยู่บน conda-forge เริ่มตั้งแต่เวอร์ชัน 0.73.46 และมีแผนจะปล่อยไคลเอนต์เวอร์ชัน 1.0 Modal ยังเผยแพร่ตัวอย่าง LTX-Video แบบ image-to-video และเปิดตัวโลโก้ใหม่

24 กุมภาพันธ์ 2025วันจันทร์
  1. Modal Blog40

    คู่มือระดับสูงเกี่ยวกับการใช้ประโยชน์ GPU: การจัดสรร, เคอร์เนล และ Model FLOP/s utilization

    Modal เผยแพร่คู่มือที่แยกความแตกต่างของสามสิ่งที่มักถูกเรียกว่า "GPU utilization": GPU Allocation Utilization (สัดส่วน GPU-วินาทีที่รันโค้ดแอปพลิเคชันต่อ GPU-วินาทีที่จ่ายเงินไป), GPU Kernel Utilization (สัดส่วนเวลาที่รันโค้ดบน GPU) และ Model FLOP/s Utilization (สัดส่วนของแบนด์วิดท์การคำนวณตามทฤษฎีที่ถูกใช้) คู่มือนี้เน้นไปที่งาน inference ของโครงข่ายประสาทเทียม ซึ่ง Modal เรียกว่าเป็นศูนย์สร้างรายได้มากกว่าศูนย์ต้นทุน

21 กุมภาพันธ์ 2025วันศุกร์
  1. Modal Blog35

    Modal เปิดโอเพนซอร์ส GPU Glossary ภายใต้ CC BY 4.0

    Modal ได้เปิดโอเพนซอร์ส GPU Glossary ซึ่งเป็นคลังรวมเอกสารสั้นที่เชื่อมโยงกันในหัวข้อการเขียนโปรแกรม GPU บน GitHub ภายใต้สัญญาอนุญาต Creative Commons BY 4.0 โดยคลังคำศัพท์นี้เปิดตัวครั้งแรกเมื่อสองเดือนก่อนเพื่อเติมช่องว่างของเอกสารอ้างอิง GPU แบบครบสแตก และคำขอจากชุมชนที่ต้องการมีส่วนร่วมทำให้เกิดการย้ายครั้งนี้ ปัจจุบัน GitHub Issues ของรีโปได้ระบุส่วนขยายที่วางแผนไว้แล้ว รวมถึงเคอร์เนล matmul ตัวอย่างสองตัวและส่วนเกี่ยวกับ Thread Block Clusters

14 กุมภาพันธ์ 2025วันศุกร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: Logs v2, การทำโปรไฟล์คอนเทนเนอร์แบบเรียลไทม์ และการเลือกภูมิภาคในทุกแพ็กเกจ

    Modal ได้เปิดตัวแดชบอร์ดบันทึกที่ปรับปรุงใหม่พร้อมการกรองช่วงเวลาที่ป้อนได้ การทำโปรไฟล์คอนเทนเนอร์แบบเรียลไทม์สำหรับการดีบักคอนเทนเนอร์หรืออินพุตที่ค้าง และ Debug Shells ที่รันคำสั่งเช่น vim, ps และ strace ภายในคอนเทนเนอร์ที่กำลังทำงาน ขณะนี้การเลือกภูมิภาคพร้อมใช้งานในทุกแพ็กเกจ โดยคิดราคาด้วยตัวคูณจากราคาฐาน และไคลเอนต์เพิ่มการยืนยันตัวตน OIDC สำหรับการเมานต์คลาวด์บักเก็ตผ่านฟิลด์ oidc_auth_role_arn ใหม่

28 มกราคม 2025วันอังคาร
  1. Modal Blog62

    Modal เพิ่ม memory snapshots เพื่อลด cold start ของ serverless ลง 2.5 เท่า

    Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch

21 มกราคม 2025วันอังคาร
  1. Modal Blog20

    อัปเดตผลิตภัณฑ์ Modal: GPU L40S, โทเค็นการยืนยันตัวตนผ่านพร็อกซี และการสแนปช็อตดิสก์ของแซนด์บ็อกซ์

    Modal เปิดให้บริการ GPU NVIDIA L40S ในราคา $1.95/ชั่วโมง พร้อมหน่วยความจำ 48GB ให้ประสิทธิภาพเร็วขึ้นถึง 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และเร็วขึ้นกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผล เมื่อเทียบกับ GPU A10 ของบริษัท แพลตฟอร์มยังเพิ่มโทเค็นการยืนยันตัวตนผ่านพร็อกซีสำหรับควบคุมการเข้าถึงปลายทางเว็บ, Filesystem API สำหรับแซนด์บ็อกซ์ และการสแนปช็อตดิสก์ที่ให้ผู้ใช้สร้างอินสแตนซ์แซนด์บ็อกซ์ใหม่จากสแนปช็อตเพื่อขจัดปัญหาการเริ่มต้นแบบเย็น นอกจากนี้ Modal ยังประกาศว่าได้รับการรับรอง SOC 2 Type 2 แล้ว

  2. Modal Blog58

    Modal Sandboxes เปิดให้ใช้งานอย่างเป็นทางการ มอบสภาพแวดล้อมการทำงานแบบแยกส่วนสำหรับ LLM และโค้ดของผู้ใช้

    Modal ประกาศความพร้อมใช้งานทั่วไปของ Sandboxes ซึ่งเป็น primitive สำหรับรันโค้ดที่ไม่น่าเชื่อถือจาก LLM ผู้ใช้ หรือแหล่งบุคคลที่สามอย่างปลอดภัยในสภาพแวดล้อมแบบแยกส่วนที่แยกจากทรัพยากรอื่นของ Modal Sandboxes มี exec API ที่เรียบง่าย สภาพแวดล้อมที่กำหนดค่าได้ขณะรันผ่าน Image API และสแนปช็อตระบบไฟล์เพื่อการคงอยู่ Modal ยังได้ upstream การสนับสนุนเข้าสู่ SWE-bench โดยแฟล็ก --modal ช่วยให้งาน 500 งานของ Verified benchmark รันได้ในเวลาประมาณ 7 นาที และอ้างถึง Poe ของ Quora, Codegen และ Relevance AI เป็นลูกค้า

28 ธันวาคม 2024วันเสาร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: memory snapshotting เร็วขึ้น, OIDC, คิวงาน async

    Modal เปิดตัวรอบอัปเดตผลิตภัณฑ์ที่นำโดยการอัปเกรดครั้งใหญ่ของฟีเจอร์ memory snapshotting เวอร์ชัน beta ซึ่งระบุว่าสามารถลดเวลา cold start ได้ครึ่งหนึ่งสำหรับโมเดลอย่าง Stable Diffusion แพลตฟอร์มยังเพิ่มการรองรับ OpenID Connect สำหรับโทเค็นระบุตัวตนอายุสั้น, การบีบอัดอิมเมจ eStargz เพื่อให้ build จาก registry อย่าง ECR และ Docker Hub เร็วขึ้น และกำลังขยายคิวงาน async ไปสู่ขีดจำกัดอินพุต 1 ล้านรายการ จากเดิม 2 พันรายการ

19 ธันวาคม 2024วันพฤหัสบดี
  1. Modal Blog25

    Modal เพิ่ม GPU NVIDIA L40S สำหรับ AI Inference ในราคา $1.95/ชม.

    Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core

10 ธันวาคม 2024วันอังคาร
  1. Modal Blog30

    LLM fine-tuning คืออะไร? คู่มือเทคนิคและเครื่องมือ

    Fine-tuning ปรับน้ำหนักของ LLM ที่ผ่านการฝึกมาแล้วให้เหมาะกับงานหรือโดเมนเฉพาะ ให้คุณภาพสูงกว่า prompt engineering ด้วยต้นทุนและ latency ที่ต่ำกว่า Llama 7B ที่ผ่าน fine-tuning สามารถประหยัดต้นทุนต่อ token ได้ประมาณ 50 เท่าเมื่อเทียบกับ GPT-3.5 โดยมีประสิทธิภาพใกล้เคียงกัน คู่มือนี้ครอบคลุมกรณีการใช้งาน เช่น structured output การรักษาสไตล์ และคำสั่งเฉพาะโดเมน พร้อมตัวเลือก包括 OpenAI, Predibase, Modal, Google Colab และ AWS SageMaker และเฟรมเวิร์ก HuggingFace transformers, TRL และ Axolotl