Modal เพิ่มส่วนประกอบวิเคราะห์โปรแกรมขณะรันที่ชื่อ seccheck เข้าในรันไทม์คอนเทนเนอร์แบบเซิร์ฟเวอร์เลสของตน โดยตรวจจับและปิดการใช้งานฟังก์ชันที่ขุดคริปโตก่อนจะแบนผู้ใช้ที่กระทำผิด เพราะนักขุดเปลี่ยนเมทาดาทาได้แต่เปลี่ยนโปรแกรมไม่ได้ Modal จึงวิเคราะห์บันทึก syscall แทนซอร์สโค้ด ไบนารี หรืออิมเมจคอนเทนเนอร์ ระบบนี้หลีกเลี่ยงภาระจาก strace ที่อิง ptrace ซึ่งอาจทำให้โปรแกรมที่เรียก syscall หนัก ๆ ช้าลงเกิน 100 เท่า
Hunch 是一个空间画布，集成了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，它使用 Modal Sandboxes 在隔离的临时容器中安全执行 AI 生成的代码。该集成仅需几行 Python 代码，并支持 pip 安装、附加存储卷和自动扩缩容。Hunch 表示，这一设置让非程序员也能构建获取 API 数据或将结果发送到 Slack webhook 的工作流。
Modal ได้ปรับแต่งโมเดล Stable Diffusion บนไลบรารี Heroicons ขนาดประมาณ 300 SVG เพื่อสร้างไอคอนเส้นขาวดำแบบใหม่ในสไตล์นั้น รวมถึงไอคอนสำหรับแนวคิดอย่าง barack-obama และ golden-retriever ไปป์ไลน์ทั้งหมด — การดาวน์โหลดโมเดลที่ผ่านการฝึกมาแล้ว การปรับแต่งเต็มรูปแบบด้วยสคริปต์ train_text_to_image.py ของ HuggingFace Diffusers และการให้บริการเว็บ UI แบบ Gradio — ทำงานบนแพลตฟอร์ม GPU แบบเซิร์ฟเวอร์เลสของ Modal บทความอธิบายขั้นตอนการเตรียมชุดข้อมูล (การแปลง SVG เป็น PNG, พื้นหลังสีขาว, ไฟล์ metadata.csv สำหรับคำอธิบายภาพ) และระบุว่าการปรับแต่งเต็มรูปแบบได้ผลดีที่สุด แม้ว่าอะแดปเตอร์แบบขนานสไตล์ LoRA ก็สามารถใช้ได้กับชุดข้อมูลขนาดเล็ก
โมเดล embedding แบบโอเพนซอร์สที่ผ่านการปรับแต่งสามารถเอาชนะ text-embedding-3-small ของ OpenAI ในด้านความแม่นยำด้วยต้นทุนที่ต่ำกว่าโดยใช้เพียงตัวอย่างจำนวนเล็กน้อย Modal ได้ทำการทดลองกับชุดข้อมูลคำถามซ้ำของ Quora เพื่อหาว่ากรณีการใช้งานตอบคำถามแบบง่าย ๆ ต้องใช้ข้อมูลสำหรับการปรับแต่งมากเพียงใด และอธิบายวิธีสร้างโมเดลดังกล่าวบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลสของตน
Ramp 使用 Modal 微调其 LLM，并构建了一个用于收据管理的文本到结构化 JSON 模型，将需要人工干预的收据减少了 34%，基础设施成本估计比 OpenAI 等主要 LLM 提供商便宜 79%。Modal 函数并行训练了许多候选模型，将权重持久化到 Modal volumes，并提供了一个参数化推理端点。一名工程师还将一个用于 25,000 张发票的 PII 剥离脚本移植到 Modal，在 256 个云 worker 上并行化，20 分钟完成，花费 100 美元，而不是在本地花费 3 天。
Modal สร้าง modal-http ซึ่งเป็นสแต็ก HTTP และ WebSocket ที่ทำให้ฟังก์ชันเซิร์ฟเวอร์เลสของตนรับคำขอเว็บได้ โดยเพิ่งรองรับ WebSocket อย่างสมบูรณ์ ต่างจากข้อจำกัด 15 นาทีและ 50 MB ของ AWS Lambda คอนเทนเนอร์ของ Modal ใช้ได้ถึง 64 CPU, หน่วยความจำ 336 GB และ GPU Nvidia H100 8 ตัว ทีมจึงแปลง HTTP เป็นการเรียกฟังก์ชันแทนการวางรีเวิร์สพร็อกซีแบบดั้งเดิมไว้หน้าคอนเทนเนอร์
Text Embedding Inference server ของ Modal และ Hugging Face สามารถฝัง English Wikipedia ทั้งหมดได้ในเวลาประมาณ 15 นาที ด้วยค่าใช้จ่ายเพียงกว่า $15 โดยใช้การขยาย GPU แบบ serverless ของ Modal บทความโต้แย้งว่าโมเดล embedding แบบโอเพนซอร์สเหนือกว่าโมเดลที่ใช้ API อย่าง text-embedding-ada-002 ของ OpenAI สำหรับ RAG ในระดับโปรดักชัน เนื่องจากสามารถ fine-tune ด้วยข้อมูลของผู้ใช้และหลีกเลี่ยงข้อจำกัดด้าน rate limit และค่าใช้จ่ายต่อโทเคน
Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ
ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส