Modal 如何利用系統呼叫特徵捕捉加密貨幣礦工
Modal 在其無伺服器容器執行環境中新增了一個名為 seccheck 的執行期程式分析元件，能在封禁違規使用者之前偵測並停用用於加密貨幣挖礦的 Functions。由於礦工可以更改中繼資料，卻無法更改其程式，Modal 分析的是系統呼叫日誌，而非原始碼、二進位檔或容器映像。該系統避開了基於 ptrace 的 strace 額外開銷，這種開銷可能使系統呼叫密集的程式變慢超過 100 倍。
#教程/实践
Modal BlogAI 評分3838
Modal BlogAI 評分2222 Hunch 如何運用 Modal Sandboxes 安全執行 AI 生成的程式碼
Hunch 是一個空間畫布，整合了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，並使用 Modal Sandboxes 在隔離的臨時容器中安全執行 AI 生成的程式碼。此整合僅需幾行 Python 程式碼，並支援 pip 安裝、附加儲存磁碟區和自動擴展。Hunch 表示，這套設定讓非程式設計人員也能建立工作流程，用以擷取 API 資料或將結果傳送至 Slack webhooks。
Modal BlogAI 評分3131 在 Heroicons 上微調 Stable Diffusion 以打造無限圖示庫
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
Modal BlogAI 評分5050 微調開源嵌入模型以擊敗 OpenAI 的 text-embedding-3-small
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Modal BlogAI 評分2222 Ramp 如何在 Modal 上以微調 LLM 自動化收據處理
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。
Modal BlogAI 評分3636 Modal 的 modal-http：在無伺服器基礎架構上提供 Web 函式
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。
Modal BlogAI 評分4040 用 Modal 和 Hugging Face TEI 在 15 分鐘內嵌入英文維基百科
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
Cursor Changelog精選AI 評分6262 Cursor 分析 Llama-2-70B 推論成本與延遲，並與 GPT-3.5 對比
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。