Modal จัดแฮกกาธอนภายใน โดยพนักงาน 30 คนรวมตัวเป็น 13 ทีมเพื่อสร้างโปรเจกต์ที่ใช้ Modal ทั้งหมด Browserman เป็นเอเจนต์ AI แบบหลายรูปแบบที่สร้างด้วย Llama-3.2-90B-Vision-Instruct-FP8, vLLM และ Playwright ซึ่งนำทางเว็บด้วยภาพเพื่อทำงานให้สำเร็จ Glodal ได้ต้นแบบระนาบควบคุมแบบกระจายที่ลดเวลาตอบสนองของคำขอจาก 268ms เหลือ 3ms และตอนนี้ Modal กำลังพัฒนาเพื่อนำมันเข้าสู่แพลตฟอร์ม
ทีมฟุตบอลยุโรประดับท็อป ซึ่งถูกปิดชื่อเป็น AFC Richmond ได้ย้ายไปใช้แพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal สำหรับไปป์ไลน์ข้อมูลการติดตามการแข่งขัน และลดต้นทุนการประมวลผลเกมทั้งฤดูกาลได้ 50% ทีมรันการอนุมานจากการสังเกตการติดตามราว 3.5 ล้านครั้งต่อเกมผ่านโมเดลที่อิงทรานส์ฟอร์เมอร์ที่พัฒนาขึ้นเอง และด้วย Airflow บน Modal ตอนนี้ประมวลผลข้อมูลแต่ละเกมได้ในไม่กี่นาทีแทนที่จะใช้เวลาหลายชั่วโมง
Modal ได้ลงนามข้อตกลงความร่วมมือเชิงกลยุทธ์กับ AWS เพื่อช่วยให้ธุรกิจพัฒนาและปรับใช้ผลิตภัณฑ์ AI ได้เร็วขึ้นบนแพลตฟอร์มเซิร์ฟเวอร์เลสสำหรับงานที่เร่งความเร็วด้วย GPU ซึ่งสามารถเปิดคอนเทนเนอร์ที่ใช้ GPU ได้ภายในเวลาเพียงหนึ่งวินาที ตามข้อตกลง Modal จะลงทะเบียนใน AWS Marketplace และลงทุนในการผสานรวมต่างๆ เช่น AWS PrivateLink เพื่อให้บริการลูกค้าที่มีความต้องการด้านความปลอดภัยและความเป็นส่วนตัวเฉพาะ
OpenArt déployé เวิร์กโฟลว์ ComfyUI ที่เป็นกรรมสิทธิ์ของตนบน Modal โดยลดเวลาการติดตั้งจากหลายชั่วโมงบน AWS และ GCP เหลือเพียงไม่กี่นาที และปรับขนาดอัตโนมัติถึงคอนเทนเนอร์ GPU หลายร้อยตัว ปัจจุบัน Modal ขับเคลื่อนเวิร์กโฟลว์กว่า 100 รายการบนแพลตฟอร์ม ซึ่งให้บริการผู้ใช้ที่ใช้งานอยู่รายเดือนมากกว่า 3 ล้านคน
Modal เปิดตัวพร็อกซี IP แบบคงที่ซึ่งกำหนดเส้นทางทราฟฟิกขาออกผ่าน IP เฉพาะของเวิร์กสเปซ พร้อมการเชื่อมต่อ Slack แบบเนทีฟสำหรับการแจ้งเตือนแอปแบบเรียลไทม์ และแดชบอร์ดการใช้งานแบบเรียลไทม์ที่ติดตามทรัพยากรทั่วทุกแอปในเวิร์กสเปซ การอัปเดตครั้งนี้ยังเพิ่ม GPU fallback สำหรับฟังก์ชัน ขยายขอบเขตทรัพยากรที่ฟังก์ชันสามารถถูกจัดสรรได้ และการเปลี่ยนแปลงฝั่งไคลเอนต์ รวมถึง ID คอนเทนเนอร์ของ `modal shell` และการสแนปช็อตหน่วยความจำสำหรับฟังก์ชันที่รับพารามิเตอร์
Modal ให้เหตุผลว่าปัญหาการขาดแคลน GPU สำหรับ AI เกิดจากความไม่สอดคล้องกัน: ความต้องการส่วนใหญ่มุ่งไปที่การเทรน แต่รายได้มาจากการอนุมาน และภาระงานการอนุมานมีความผันผวนโดยธรรมชาติ เนื่องจากอัตราการร้องขอแกว่งตามรอบกลางวัน-กลางคืน รูปแบบรายสัปดาห์ ทราฟฟิกที่แพร่กระจายเร็ว และแนวโน้มการเติบโต การจอง GPU ระยะยาวแบบคงที่ทำให้อัตราการใช้งานคลัสเตอร์ในโลกจริงต่ำกว่า 50% การรวมความต้องการจากผู้ใช้จำนวนมาก — โดยจัดสรรสำหรับจุดสูงสุดของผลรวม แทนที่จะเป็นผลรวมของจุดสูงสุด — สามารถเพิ่มอัตราการใช้งานได้อย่างมาก และการรวมอุปทานข้ามภูมิภาคสามารถเพิ่มความยืดหยุ่นได้อีก
แอปสาธิตทำการค้นหาแบบไฮบริดทั่วทั้งรัฐแคลิฟอร์เนียโดยใช้การประทับเวลา ข้อมูลพิกัดทางภูมิศาสตร์ และ embedding จากภาพถ่ายดาวเทียมจากโมเดลพื้นฐาน Clay v1 โดย Modal ทำหน้าที่จัดการคำขอรายวันไปยัง Sentinel API การจัดเก็บใน MongoDB Atlas และการประมวลผล embedding บน GPU A10 พร้อมฟรอนต์เอนด์ Alpine JS ขนาดเล็กที่ให้บริการผ่าน FastAPI
Contextual AI ได้ทำ continuous integration บน GPU ให้เป็นอัตโนมัติและทำงานแบบขนานบน Modal แทนการรันทดสอบด้วยมือบนโหนด GPU ภายในองค์กร โดย GitHub Action จะทริกเกอร์ Modal Function ที่ผูก GPU หลายตัวไว้ และการสร้างอิมเมจแบบแคชทำให้การทดสอบเริ่มได้ภายใน 30 วินาทีหลังส่งงาน Modal คิดค่าบริการตามการใช้งาน ดังนั้น 99% ของยอดที่เรียกเก็บคือเวลาในการรันทดสอบจริง
Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%
Modal เปิดตัวฟีเจอร์ app rollbacks ที่ให้ผู้ใช้ย้อนกลับแอปที่ deploy แล้วไปยังเวอร์ชันก่อนหน้าจากแดชบอร์ดหรือ CLI พร้อมกับ decorator @batched ที่รวบรวมคำขอเป็นแบตช์ขนาดไดนามิกเพื่อแลกความหน่วงกับ throughput และการใช้ GPU ให้สูงขึ้น วัตถุ Sandbox สามารถส่งต่อพอร์ต TCP ไปยังอินเทอร์เน็ตและ exec โปรเซสเพิ่มเติมได้แล้ว และสามารถส่งออกบันทึกไปยังผู้ให้บริการ OpenTelemetry ได้ นอกจากนี้ CPU cores และ GPU ระดับสูงยังมีราคาถูกลง
ขณะนี้ Modal รองรับเวิร์กโหลดที่สอดคล้องกับ HIPAA โดยพร้อมให้บริการสำหรับลูกค้าแผน Enterprise ที่ลงนามในข้อตกลง Business Associate Agreement (BAA) ผ่าน security@modal.com ฟีเจอร์ทั้งหมดของ Modal อยู่ในขอบเขตของ BAA ยกเว้น Volumes, Images (ไม่รวม Filesystem และ Directory Snapshots), Memory Snapshots และโค้ดของผู้ใช้ ซึ่งไม่ควรวาง PHI ไว้ Modal อ้างถึงการจัดการข้อมูลแบบ least-privilege และรันไทม์แซนด์บ็อกซ์ gVisor เป็นรากฐานด้านความปลอดภัย ต่อยอดจากการประกาศ SOC 2 Type 1 และการรับรอง SOC 2 Type 2 ที่อยู่ระหว่างดำเนินการ
Cursor ได้พัฒนา shadow workspace ที่ให้ AI ของตนแก้ไขในหน้าต่าง Electron ที่ซ่อนอยู่และอ่านผลลัพธ์ lint กลับมาโดยไม่กระทบเซสชันการแก้ไขของผู้ใช้ โพสต์ดังกล่าวสรุปเป้าหมายการออกแบบด้านความพร้อมใช้งานของ LSP ความเป็นอิสระ ความเป็นส่วนตัว การทำงานพร้อมกัน และความเร็ว และอธิบายว่าทำไมการคัดลอก TextModel หรือการรัน language server แยกต่างหากจึงล้มเหลว นอกจากนี้ยังร่างแนวทาง folder proxy ระดับเคอร์เนลในอนาคตเพื่อความสามารถในการรัน โดยระบุว่า macOS และ Windows ไม่มีเส้นทาง FUSE ที่ใช้งานได้ และการสนับสนุน Rust LSP ในปัจจุบันยังไม่มี
Modal ประกาศลดราคา CPU และ GPU รุ่นทรงพลังที่สุดบางรุ่นลง 15-30% โดยให้เหตุผลว่ามีการแข่งขันในกลุ่มผู้จัดหา GPU เพิ่มมากขึ้น และมีการเปิดตัว GPU ที่ทรงพลังกว่าในช่วงหนึ่งปีที่ผ่านมา บริษัทยังเปลี่ยนรูปแบบการคิดค่าบริการ CPU/หน่วยความจำ เป็นคิดตาม max(การจอง, การใช้งานจริง) ต่อคอนเทนเนอร์ที่กำลังทำงาน โดยมีการจองขั้นต่ำเริ่มต้นที่ 0.125 คอร์ CPU สำหรับทุก Functions แพ็กเกจ Team ปรับขึ้นเป็น 250 ดอลลาร์/เดือน พร้อมที่นั่งไม่จำกัดและเครดิต 100 ดอลลาร์/เดือน โดยราคาใหม่จะมีผลในเดือนกันยายนสำหรับผู้ใช้ Starter และ Team/Enterprise ที่ได้รับผลกระทบ
Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด
ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่มการผสานรวม Datadog ที่ส่งต่อบันทึกแอปพลิเคชันและบันทึกการตรวจสอบได้ในคลิกเดียว พร้อมการเลือกภูมิภาคคลาวด์สำหรับฟังก์ชันเพื่อตอบสนองความต้องการด้านกฎระเบียบ ต้นทุนขาออก หรือตำแหน่งฐานข้อมูล บริษัทยังปรับปรุงระบบเรียกฟังก์ชันใหม่เพื่อให้มีปริมาณงานสูงขึ้นโดยมีค่าใช้จ่ายส่วนเกินต่ำลงอย่างมีนัยสำคัญ มุ่งเป้าไปที่เวิร์กโหลดการผลิตแบบเรียลไทม์ที่มีเวลาตอบสนองต่ำ และยกเครื่องหน้ารายละเอียดแอปใหม่ด้วยการซูมตามช่วงเวลา สถานะคอนเทนเนอร์ และมุมมองระบบไฟล์อิมเมจ
Basis จัด Prompt Olympics การแข่งขันวิศวกรรมพรอมต์สไตล์competitive programming ชิงเงินรางวัล $5,000 และรันบนโครงสร้างพื้นฐานของ Modal ในโจทย์หนึ่ง ผู้เข้าร่วมเขียนพรอมต์เพื่อควบคุม LLaMA 3 70B ซึ่งติดตั้งบน Modal ให้สร้างโค้ดที่ต้องผ่านการทดสอบภายใน Modal Sandboxes รอบชิงชนะเลิศให้ผู้เล่นพรอมต์โมเดลเพื่อควบคุมเอเจนต์เกม Crafter; Basis พบว่าแม้แต่โมเดลโอเพนซอร์สที่มีความสามารถอย่าง LLaMA 3 70B ก็ยังยากต่อการพรอมต์อย่างมีประสิทธิภาพ จึงเปลี่ยนไปใช้ API ของโมเดลเชิงพาณิชย์สำหรับองค์ประกอบนั้น
ตอนนี้ Modal สามารถถูกเรียกใช้ได้โดยตรงจาก Airflow DAG ทำให้ทีมสามารถรันงาน AI/ML ที่ใช้ GPU โดยไม่ต้องตั้งค่า Celery หรือ Kubernetes executors คู่มือนี้ครอบคลุมการติดตั้ง Modal ในสภาพแวดล้อม Airflow การตั้งค่า MODAL_TOKEN_ID และ MODAL_TOKEN_SECRET และสองแนวทาง คือ การเรียกใช้ Modal Functions ที่ deploy แล้วผ่าน lookup หรือการสร้าง custom operator ที่รัน Python ใน Modal Sandboxes ขณะนี้แพ็กเกจ Modal Airflow provider อยู่ระหว่างการพัฒนา
Modal เพิ่มส่วนประกอบวิเคราะห์โปรแกรมขณะรันที่ชื่อ seccheck เข้าในรันไทม์คอนเทนเนอร์แบบเซิร์ฟเวอร์เลสของตน โดยตรวจจับและปิดการใช้งานฟังก์ชันที่ขุดคริปโตก่อนจะแบนผู้ใช้ที่กระทำผิด เพราะนักขุดเปลี่ยนเมทาดาทาได้แต่เปลี่ยนโปรแกรมไม่ได้ Modal จึงวิเคราะห์บันทึก syscall แทนซอร์สโค้ด ไบนารี หรืออิมเมจคอนเทนเนอร์ ระบบนี้หลีกเลี่ยงภาระจาก strace ที่อิง ptrace ซึ่งอาจทำให้โปรแกรมที่เรียก syscall หนัก ๆ ช้าลงเกิน 100 เท่า
Cursor 发布了其最初“Problems”文章的后续内容，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“演奏”低熵变更序列——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成仅需几行 Python 代码，并支持 pip 安装、附加存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal ได้ปรับแต่งโมเดล Stable Diffusion บนไลบรารี Heroicons ขนาดประมาณ 300 SVG เพื่อสร้างไอคอนเส้นขาวดำแบบใหม่ในสไตล์นั้น รวมถึงไอคอนสำหรับแนวคิดอย่าง barack-obama และ golden-retriever ไปป์ไลน์ทั้งหมด — การดาวน์โหลดโมเดลที่ผ่านการฝึกมาแล้ว การปรับแต่งเต็มรูปแบบด้วยสคริปต์ train_text_to_image.py ของ HuggingFace Diffusers และการให้บริการเว็บ UI แบบ Gradio — ทำงานบนแพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal บทความอธิบายขั้นตอนการเตรียมชุดข้อมูล (การแปลง SVG เป็น PNG, พื้นหลังสีขาว, ไฟล์ metadata.csv สำหรับคำอธิบายภาพ) และระบุว่าการปรับแต่งเต็มรูปแบบได้ผลดีที่สุด แม้ว่าอะแดปเตอร์แบบขนานสไตล์ LoRA ก็สามารถใช้ได้กับชุดข้อมูลขนาดเล็ก
Substack ได้ย้ายการฝึกอบรมและการปรับใช้โมเดล ML เกือบทั้งหมด—รวมถึงการตรวจจับสแปม การแนะนำจดหมายข่าว การถอดเสียง การวิเคราะห์ความรู้สึก และการสร้างภาพ—จาก AWS SageMaker ไปยัง Modal Mike Cohen หัวหน้าฝ่ายวิศวกรรม AI และ ML อ้างถึงประสบการณ์นักพัฒนาที่ซับซ้อนของ SageMaker โค้ดที่แชร์กันยากข้ามโน้ตบุ๊ก และเวลาเริ่มต้นคอนเทนเนอร์กว่า 5 นาที บน Modal การสร้างจุดเชื่อมต่อการอนุมานใช้เวลาหนึ่งชั่วโมง ตอนนี้ Substack ดำเนินเวิร์กโฟลว์การปรับแต่ง การตรวจสอบ และการปรับใช้แบบเต็มรูปแบบบนพื้นฐานการจัดเก็บข้อมูลของ Modal
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่ม writable mounts สำหรับบัคเก็ต AWS S3 และ Cloudflare R2, decorator @web_server สำหรับโฮสต์เว็บเซิร์ฟเวอร์ที่ไม่ใช่ ASGI/WSGI บนพอร์ตที่กำหนด และ Okta single sign-on สำหรับผู้ใช้แผนองค์กร ตัวดู volume ในเว็บแดชบอร์ดให้ผู้ใช้สำรวจระบบไฟล์ของ volume และไคลเอนต์เวอร์ชันล่าสุดเพิ่มการประกอบแอปหลายไฟล์ผ่าน .include, คิวแบบ partitioned และการรองรับ stdin สำหรับ Sandboxes
โมเดล embedding แบบโอเพนซอร์สที่ผ่านการปรับแต่งสามารถเอาชนะ text-embedding-3-small ของ OpenAI ในด้านความแม่นยำด้วยต้นทุนที่ต่ำกว่าโดยใช้เพียงตัวอย่างจำนวนเล็กน้อย Modal ได้ทำการทดลองกับชุดข้อมูลคำถามซ้ำของ Quora เพื่อหาว่ากรณีการใช้งานตอบคำถามแบบง่าย ๆ ต้องใช้ข้อมูลสำหรับการปรับแต่งมากเพียงใด และอธิบายวิธีสร้างโมเดลดังกล่าวบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลสของตน
Ramp 使用 Modal 微调其 LLM，并构建了一个用于收据管理的文本到结构化 JSON 模型，将需要人工干预的收据减少了 34%，基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行化，20 分钟完成，花费 100 美元，而不是在本地花费 3 天。
Modal สร้าง modal-http ซึ่งเป็นสแต็ก HTTP และ WebSocket ที่ทำให้ฟังก์ชันเซิร์ฟเวอร์เลสของตนรับคำขอเว็บได้ โดยเพิ่งรองรับ WebSocket อย่างสมบูรณ์ ต่างจากข้อจำกัด 15 นาทีและ 50 MB ของ AWS Lambda คอนเทนเนอร์ของ Modal ใช้ได้ถึง 64 CPU, หน่วยความจำ 336 GB และ GPU Nvidia H100 8 ตัว ทีมจึงแปลง HTTP เป็นการเรียกฟังก์ชันแทนการวางรีเวิร์สพร็อกซีแบบดั้งเดิมไว้หน้าคอนเทนเนอร์
Modal รองรับการเชื่อมต่อ WebSocket แล้ว ทำให้ฟังก์ชันบนแพลตฟอร์มสามารถคงการเชื่อมต่อแบบสองทิศทางที่ต่อเนื่องระหว่างไคลเอนต์และเซิร์ฟเวอร์ แทนที่จะเป็นการเชื่อมต่อ HTTP ต่อคำขอ แต่ละการเชื่อมต่อ WebSocket นับเป็นอินพุตหนึ่งรายการ ดังนั้นฟังก์ชันที่ไม่ถูกจำกัดด้วย CPU/GPU ควรอนุญาตให้มีอินพุตพร้อมกัน หรือ Modal จะสร้างคอนเทนเนอร์ใหม่ต่อการเชื่อมต่อหนึ่งครั้ง Modal ปรับขนาดตัวจัดการ WebSocket โดยอัตโนมัติ มุ่งเป้าไปที่การสตรีมแบบเรียลไทม์ การอัปเดตความคืบหน้าของงานที่ใช้เวลานาน และการโฮสต์เฟรมเวิร์กอย่าง ComfyUI, Streamlit และ Gradio
Suno ใช้ Modal เพื่อขยายการประมวลผล inference และการประมวลผลล่วงหน้าแบบแบตช์บน GPU หลายพันตัว ทำให้โมเดลสร้างเพลงออกสู่ตลาดเร็วขึ้นสี่เดือนแทนที่จะจ้างวิศวกรมาสร้างและดูแลโครงสร้างพื้นฐาน ทีมงานรันการประมวลผลล่วงหน้าแบบแบตช์ด้วยสคริปต์ Python สั้นๆ ไม่กี่ไฟล์และไม่มีไฟล์กำหนดค่า จากนั้นขยายไปสู่การติดตั้งใช้งานโมเดลด้วยฟังก์ชันที่เปิดเผยผ่าน HTTP และการประมวลผล inference แบบต่อเนื่องข้ามโมเดลและคอนเทนเนอร์หลายตัว การขยายขนาดอัตโนมัติของ Modal ไปยัง GPU หลายพันตัวรองรับช่วงความต้องการพุ่งสูงในช่วงวันหยุดโดยไม่ต้องจอง GPU ระยะยาว
Modal ได้เพิ่มการรองรับ WebSocket ให้กับฟังก์ชันของตน ทำให้สามารถโฮสต์เฟรมเวิร์กอย่าง Streamlit ได้แบบพร้อมใช้ พร้อมทั้งคำสั่งแบบอินเทอร์แอกทีฟผ่าน `modal container exec` สำหรับตรวจสอบและดีบักคอนเทนเนอร์ที่กำลังทำงานอยู่ ขณะนี้ GPU H100 พร้อมใช้งานบน Modal แล้ว และการอัปเดตไคลเอนต์ได้เพิ่ม lifecycle hooks `@build` การคอมมิตเบื้องหลังอัตโนมัติสำหรับ Volumes และคำสั่ง CLI ที่ขยายเพิ่มเติม ได้แก่ get, put และ rm
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA H100 ในราคา 7.65 ดอลลาร์ต่อชั่วโมงต่อ GPU ผลทดสอบของ NVIDIA แสดงว่า H100 ให้ความเร็วในการฝึกสูงสุดถึง 4 เท่า และความเร็วในการอนุมานสูงสุดถึง 30 เท่าเมื่อเทียบกับ A100 พร้อม DRAM บนชิป 80 GB และเชื่อมต่อ GPU ได้สูงสุด 8 ตัวผ่าน NVLink ที่ 3.6 TB/s ผู้ใช้เปิดใช้งานได้โดยตั้งค่า "H100" เป็นประเภท GPU ใน Modal decorator
Text Embedding Inference server ของ Modal และ Hugging Face สามารถฝัง English Wikipedia ทั้งหมดได้ในเวลาประมาณ 15 นาที ด้วยค่าใช้จ่ายเพียงกว่า $15 โดยใช้การขยาย GPU แบบ serverless ของ Modal บทความโต้แย้งว่าโมเดล embedding แบบโอเพนซอร์สเหนือกว่าโมเดลที่ใช้ API อย่าง text-embedding-ada-002 ของ OpenAI สำหรับ RAG ในระดับโปรดักชัน เนื่องจากสามารถ fine-tune ด้วยข้อมูลของผู้ใช้และหลีกเลี่ยงข้อจำกัดด้าน rate limit และค่าใช้จ่ายต่อโทเคน
Modal ประกาศว่าแพลตฟอร์มคลาวด์ฟังก์ชันของบริษัทเปิดให้ใช้งานทั่วไปแล้ว (generally available) ทำให้ใครก็สามารถสมัครและรันโค้ด Python บนคลาวด์ได้ภายในไม่กี่นาที หลังจากเปิดรายชื่อรอในปี 2022 แพลตฟอร์มนี้ให้บริการประมวลผลแบบเซิร์ฟเวอร์เลสที่คิดค่าบริการตามวินาที, GPU inference endpoints ที่ปรับขนาดอัตโนมัติบน A100, A10G, T4, L4 และ H100, และงานแบบแบตช์ขนาดใหญ่ที่กระจายไปยังคอนเทนเนอร์หลายพันตัวโดยไม่ต้องใช้การตั้งค่า YAML นอกจากนี้ Modal ยังระดมทุนได้ 16 ล้านดอลลาร์ในรอบ Series A นำโดย Redpoint Ventures พร้อมกับ Amplify Partners ซึ่งนำรอบ seed และมีแผนจะใช้เงินทุนนี้เพื่อเร่งพัฒนาโรดแมปผลิตภัณฑ์
Modal Labs ระดมทุน Series A ได้ 16 ล้านดอลลาร์ นำโดย Redpoint Ventures โดยมี Amplify Partners นักลงทุนเดิม และผู้ร่วมทุนรายใหม่รวมถึง Lux Capital และ Definition Capital ทำให้ยอดระดมทุนรวมอยู่ที่ 23 ล้านดอลลาร์ บริษัทยังเปิดตัวอย่างเป็นทางการแพลตฟอร์มคลาวด์ซึ่งก่อนหน้านี้อยู่ในช่วงเบตากับลูกค้ารายแรกๆ เช่น Ramp, Substack และ SphinxBio และจะใช้เงินทุนเพื่อเร่งการพัฒนาผลิตภัณฑ์และจ้างวิศวกรที่สำนักงานใหญ่ในนครนิวยอร์ก
Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ
ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส
Arvid Lunnemark นักวิจัยจาก Cursor ให้เหตุผลว่าการ prompting ควรถูกเรียกว่า "prompt design" และเปรียบเทียบกับ web design เนื่องจากทั้งสองต่างมุ่งสู่การสื่อสารที่ชัดเจนด้วยอินพุตแบบไดนามิก และต้องปรับเนื้อหาให้เข้ากับ "ขนาด" ที่แตกต่างกัน — ขนาดหน้าจอสำหรับเว็บ และ context window สำหรับ prompt เขาเปิดตัว Priompt v0.1 ไลบรารีสำหรับออกแบบ prompt ที่ใช้ JSX คล้าย React ซึ่งถูกใช้อยู่ภายใน Cursor แล้ว พร้อมเว็บพรีวิวสำหรับเรนเดอร์ prompt กับข้อมูลคำขอจริง