ตอนนี้ Modal สามารถถูกเรียกใช้ได้โดยตรงจาก Airflow DAG ทำให้ทีมสามารถรันงาน AI/ML ที่ใช้ GPU โดยไม่ต้องตั้งค่า Celery หรือ Kubernetes executors คู่มือนี้ครอบคลุมการติดตั้ง Modal ในสภาพแวดล้อม Airflow การตั้งค่า MODAL_TOKEN_ID และ MODAL_TOKEN_SECRET และสองแนวทาง คือ การเรียกใช้ Modal Functions ที่ deploy แล้วผ่าน lookup หรือการสร้าง custom operator ที่รัน Python ใน Modal Sandboxes ขณะนี้แพ็กเกจ Modal Airflow provider อยู่ระหว่างการพัฒนา
Modal เพิ่มส่วนประกอบวิเคราะห์โปรแกรมขณะรันที่ชื่อ seccheck เข้าในรันไทม์คอนเทนเนอร์แบบเซิร์ฟเวอร์เลสของตน โดยตรวจจับและปิดการใช้งานฟังก์ชันที่ขุดคริปโตก่อนจะแบนผู้ใช้ที่กระทำผิด เพราะนักขุดเปลี่ยนเมทาดาทาได้แต่เปลี่ยนโปรแกรมไม่ได้ Modal จึงวิเคราะห์บันทึก syscall แทนซอร์สโค้ด ไบนารี หรืออิมเมจคอนเทนเนอร์ ระบบนี้หลีกเลี่ยงภาระจาก strace ที่อิง ptrace ซึ่งอาจทำให้โปรแกรมที่เรียก syscall หนัก ๆ ช้าลงเกิน 100 เท่า
Cursor 发布了其最初“Problems”文章的后续内容，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“演奏”低熵变更序列——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成仅需几行 Python 代码，并支持 pip 安装、附加存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal ได้ปรับแต่งโมเดล Stable Diffusion บนไลบรารี Heroicons ขนาดประมาณ 300 SVG เพื่อสร้างไอคอนเส้นขาวดำแบบใหม่ในสไตล์นั้น รวมถึงไอคอนสำหรับแนวคิดอย่าง barack-obama และ golden-retriever ไปป์ไลน์ทั้งหมด — การดาวน์โหลดโมเดลที่ผ่านการฝึกมาแล้ว การปรับแต่งเต็มรูปแบบด้วยสคริปต์ train_text_to_image.py ของ HuggingFace Diffusers และการให้บริการเว็บ UI แบบ Gradio — ทำงานบนแพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal บทความอธิบายขั้นตอนการเตรียมชุดข้อมูล (การแปลง SVG เป็น PNG, พื้นหลังสีขาว, ไฟล์ metadata.csv สำหรับคำอธิบายภาพ) และระบุว่าการปรับแต่งเต็มรูปแบบได้ผลดีที่สุด แม้ว่าอะแดปเตอร์แบบขนานสไตล์ LoRA ก็สามารถใช้ได้กับชุดข้อมูลขนาดเล็ก
Substack ได้ย้ายการฝึกอบรมและการปรับใช้โมเดล ML เกือบทั้งหมด—รวมถึงการตรวจจับสแปม การแนะนำจดหมายข่าว การถอดเสียง การวิเคราะห์ความรู้สึก และการสร้างภาพ—จาก AWS SageMaker ไปยัง Modal Mike Cohen หัวหน้าฝ่ายวิศวกรรม AI และ ML อ้างถึงประสบการณ์นักพัฒนาที่ซับซ้อนของ SageMaker โค้ดที่แชร์กันยากข้ามโน้ตบุ๊ก และเวลาเริ่มต้นคอนเทนเนอร์กว่า 5 นาที บน Modal การสร้างจุดเชื่อมต่อการอนุมานใช้เวลาหนึ่งชั่วโมง ตอนนี้ Substack ดำเนินเวิร์กโฟลว์การปรับแต่ง การตรวจสอบ และการปรับใช้แบบเต็มรูปแบบบนพื้นฐานการจัดเก็บข้อมูลของ Modal
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่ม writable mounts สำหรับบัคเก็ต AWS S3 และ Cloudflare R2, decorator @web_server สำหรับโฮสต์เว็บเซิร์ฟเวอร์ที่ไม่ใช่ ASGI/WSGI บนพอร์ตที่กำหนด และ Okta single sign-on สำหรับผู้ใช้แผนองค์กร ตัวดู volume ในเว็บแดชบอร์ดให้ผู้ใช้สำรวจระบบไฟล์ของ volume และไคลเอนต์เวอร์ชันล่าสุดเพิ่มการประกอบแอปหลายไฟล์ผ่าน .include, คิวแบบ partitioned และการรองรับ stdin สำหรับ Sandboxes
โมเดล embedding แบบโอเพนซอร์สที่ผ่านการปรับแต่งสามารถเอาชนะ text-embedding-3-small ของ OpenAI ในด้านความแม่นยำด้วยต้นทุนที่ต่ำกว่าโดยใช้เพียงตัวอย่างจำนวนเล็กน้อย Modal ได้ทำการทดลองกับชุดข้อมูลคำถามซ้ำของ Quora เพื่อหาว่ากรณีการใช้งานตอบคำถามแบบง่าย ๆ ต้องใช้ข้อมูลสำหรับการปรับแต่งมากเพียงใด และอธิบายวิธีสร้างโมเดลดังกล่าวบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลสของตน
Ramp 使用 Modal 微调其 LLM，并构建了一个用于收据管理的文本到结构化 JSON 模型，将需要人工干预的收据减少了 34%，基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行化，20 分钟完成，花费 100 美元，而不是在本地花费 3 天。
Modal สร้าง modal-http ซึ่งเป็นสแต็ก HTTP และ WebSocket ที่ทำให้ฟังก์ชันเซิร์ฟเวอร์เลสของตนรับคำขอเว็บได้ โดยเพิ่งรองรับ WebSocket อย่างสมบูรณ์ ต่างจากข้อจำกัด 15 นาทีและ 50 MB ของ AWS Lambda คอนเทนเนอร์ของ Modal ใช้ได้ถึง 64 CPU, หน่วยความจำ 336 GB และ GPU Nvidia H100 8 ตัว ทีมจึงแปลง HTTP เป็นการเรียกฟังก์ชันแทนการวางรีเวิร์สพร็อกซีแบบดั้งเดิมไว้หน้าคอนเทนเนอร์
Modal รองรับการเชื่อมต่อ WebSocket แล้ว ทำให้ฟังก์ชันบนแพลตฟอร์มสามารถคงการเชื่อมต่อแบบสองทิศทางที่ต่อเนื่องระหว่างไคลเอนต์และเซิร์ฟเวอร์ แทนที่จะเป็นการเชื่อมต่อ HTTP ต่อคำขอ แต่ละการเชื่อมต่อ WebSocket นับเป็นอินพุตหนึ่งรายการ ดังนั้นฟังก์ชันที่ไม่ถูกจำกัดด้วย CPU/GPU ควรอนุญาตให้มีอินพุตพร้อมกัน หรือ Modal จะสร้างคอนเทนเนอร์ใหม่ต่อการเชื่อมต่อหนึ่งครั้ง Modal ปรับขนาดตัวจัดการ WebSocket โดยอัตโนมัติ มุ่งเป้าไปที่การสตรีมแบบเรียลไทม์ การอัปเดตความคืบหน้าของงานที่ใช้เวลานาน และการโฮสต์เฟรมเวิร์กอย่าง ComfyUI, Streamlit และ Gradio
Suno ใช้ Modal เพื่อขยายการประมวลผล inference และการประมวลผลล่วงหน้าแบบแบตช์บน GPU หลายพันตัว ทำให้โมเดลสร้างเพลงออกสู่ตลาดเร็วขึ้นสี่เดือนแทนที่จะจ้างวิศวกรมาสร้างและดูแลโครงสร้างพื้นฐาน ทีมงานรันการประมวลผลล่วงหน้าแบบแบตช์ด้วยสคริปต์ Python สั้นๆ ไม่กี่ไฟล์และไม่มีไฟล์กำหนดค่า จากนั้นขยายไปสู่การติดตั้งใช้งานโมเดลด้วยฟังก์ชันที่เปิดเผยผ่าน HTTP และการประมวลผล inference แบบต่อเนื่องข้ามโมเดลและคอนเทนเนอร์หลายตัว การขยายขนาดอัตโนมัติของ Modal ไปยัง GPU หลายพันตัวรองรับช่วงความต้องการพุ่งสูงในช่วงวันหยุดโดยไม่ต้องจอง GPU ระยะยาว
Modal ได้เพิ่มการรองรับ WebSocket ให้กับฟังก์ชันของตน ทำให้สามารถโฮสต์เฟรมเวิร์กอย่าง Streamlit ได้แบบพร้อมใช้ พร้อมทั้งคำสั่งแบบอินเทอร์แอกทีฟผ่าน `modal container exec` สำหรับตรวจสอบและดีบักคอนเทนเนอร์ที่กำลังทำงานอยู่ ขณะนี้ GPU H100 พร้อมใช้งานบน Modal แล้ว และการอัปเดตไคลเอนต์ได้เพิ่ม lifecycle hooks `@build` การคอมมิตเบื้องหลังอัตโนมัติสำหรับ Volumes และคำสั่ง CLI ที่ขยายเพิ่มเติม ได้แก่ get, put และ rm
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA H100 ในราคา 7.65 ดอลลาร์ต่อชั่วโมงต่อ GPU ผลทดสอบของ NVIDIA แสดงว่า H100 ให้ความเร็วในการฝึกสูงสุดถึง 4 เท่า และความเร็วในการอนุมานสูงสุดถึง 30 เท่าเมื่อเทียบกับ A100 พร้อม DRAM บนชิป 80 GB และเชื่อมต่อ GPU ได้สูงสุด 8 ตัวผ่าน NVLink ที่ 3.6 TB/s ผู้ใช้เปิดใช้งานได้โดยตั้งค่า "H100" เป็นประเภท GPU ใน Modal decorator
Text Embedding Inference server ของ Modal และ Hugging Face สามารถฝัง English Wikipedia ทั้งหมดได้ในเวลาประมาณ 15 นาที ด้วยค่าใช้จ่ายเพียงกว่า $15 โดยใช้การขยาย GPU แบบ serverless ของ Modal บทความโต้แย้งว่าโมเดล embedding แบบโอเพนซอร์สเหนือกว่าโมเดลที่ใช้ API อย่าง text-embedding-ada-002 ของ OpenAI สำหรับ RAG ในระดับโปรดักชัน เนื่องจากสามารถ fine-tune ด้วยข้อมูลของผู้ใช้และหลีกเลี่ยงข้อจำกัดด้าน rate limit และค่าใช้จ่ายต่อโทเคน
Modal ประกาศว่าแพลตฟอร์มคลาวด์ฟังก์ชันของบริษัทเปิดให้ใช้งานทั่วไปแล้ว (generally available) ทำให้ใครก็สามารถสมัครและรันโค้ด Python บนคลาวด์ได้ภายในไม่กี่นาที หลังจากเปิดรายชื่อรอในปี 2022 แพลตฟอร์มนี้ให้บริการประมวลผลแบบเซิร์ฟเวอร์เลสที่คิดค่าบริการตามวินาที, GPU inference endpoints ที่ปรับขนาดอัตโนมัติบน A100, A10G, T4, L4 และ H100, และงานแบบแบตช์ขนาดใหญ่ที่กระจายไปยังคอนเทนเนอร์หลายพันตัวโดยไม่ต้องใช้การตั้งค่า YAML นอกจากนี้ Modal ยังระดมทุนได้ 16 ล้านดอลลาร์ในรอบ Series A นำโดย Redpoint Ventures พร้อมกับ Amplify Partners ซึ่งนำรอบ seed และมีแผนจะใช้เงินทุนนี้เพื่อเร่งพัฒนาโรดแมปผลิตภัณฑ์
Modal Labs ระดมทุน Series A ได้ 16 ล้านดอลลาร์ นำโดย Redpoint Ventures โดยมี Amplify Partners นักลงทุนเดิม และผู้ร่วมทุนรายใหม่รวมถึง Lux Capital และ Definition Capital ทำให้ยอดระดมทุนรวมอยู่ที่ 23 ล้านดอลลาร์ บริษัทยังเปิดตัวอย่างเป็นทางการแพลตฟอร์มคลาวด์ซึ่งก่อนหน้านี้อยู่ในช่วงเบตากับลูกค้ารายแรกๆ เช่น Ramp, Substack และ SphinxBio และจะใช้เงินทุนเพื่อเร่งการพัฒนาผลิตภัณฑ์และจ้างวิศวกรที่สำนักงานใหญ่ในนครนิวยอร์ก
Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ
ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส
Arvid Lunnemark นักวิจัยจาก Cursor ให้เหตุผลว่าการ prompting ควรถูกเรียกว่า "prompt design" และเปรียบเทียบกับ web design เนื่องจากทั้งสองต่างมุ่งสู่การสื่อสารที่ชัดเจนด้วยอินพุตแบบไดนามิก และต้องปรับเนื้อหาให้เข้ากับ "ขนาด" ที่แตกต่างกัน — ขนาดหน้าจอสำหรับเว็บ และ context window สำหรับ prompt เขาเปิดตัว Priompt v0.1 ไลบรารีสำหรับออกแบบ prompt ที่ใช้ JSX คล้าย React ซึ่งถูกใช้อยู่ภายใน Cursor แล้ว พร้อมเว็บพรีวิวสำหรับเรนเดอร์ prompt กับข้อมูลคำขอจริง