AI 客服中心如何改變客戶支援
AI 客服中心正在重塑客戶支援，將例行來電從漫長等待縮短為幾秒內解決，例如一通停電查詢在 30 秒內處理完畢。Gartner 估計，到 2027 年約有 25% 的客戶服務互動將涉及 AI，高於 2022 年的 2%；該市場到 2027-2028 年規模將達 150-200 億美元，年複合成長率約 25-30%。文章涵蓋傳統客服中心的痛點，如回應緩慢、尖峰時段爆量與服務時間有限，以及 AI 自動化如何應對這些問題。
全部動態
Vapi BlogAI 評分2020
Modal BlogAI 評分4040 GPU 使用率的高階指南：配置、核心與模型 FLOP/s 使用率
Modal 發布了一份指南，區分三種常被稱為「GPU 使用率」的概念：GPU 配置使用率（執行應用程式碼的 GPU 秒數佔付費 GPU 秒數的比例）、GPU 核心使用率（在 GPU 上執行程式碼的時間佔比），以及模型 FLOP/s 使用率（所用理論算力頻寬的佔比）。該指南聚焦於神經網路推論工作負載，Modal 稱之為利潤中心而非成本中心。
Modal BlogAI 評分3535 Modal 以 CC BY 4.0 授權開源 GPU Glossary
Modal 已將其 GPU Glossary 以 Creative Commons BY 4.0 授權開源至 GitHub；該詞彙表是一份關於 GPU 程式設計主題、相互連結的短文彙編。此詞彙表最初於兩個月前發布，旨在填補跨堆疊 GPU 參考資料的空白，而社群提出貢獻的請求促成了此次開源。該儲存庫的 GitHub Issues 已列出計畫中的擴充內容，包括兩個範例 matmul 核心，以及一個關於 Thread Block Clusters 的章節。
Modal BlogAI 評分2222 Modal 產品更新：Logs v2、即時容器效能分析，以及所有方案皆可選擇區域
Modal 推出了改版後的日誌儀表板，支援時間範圍輸入篩選、可即時對容器進行效能分析以偵錯卡住的容器或輸入，以及可在執行中的容器內執行 vim、ps、strace 等指令的 Debug Shells。區域選擇現已開放所有方案使用，定價以基礎價格乘上倍數計算，且用戶端新增了 OIDC 驗證，可透過新的 oidc_auth_role_arn 欄位掛載雲端儲存桶。
Modal Blog精選AI 評分6262 Modal 加入記憶體快照，將無伺服器冷啟動加快 2.5 倍
Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能，並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function，現在只需 3.5 秒即可還原；而一個簡單的 import torch 程式，則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上，並依需求建立；當還原失敗時，會自動退回標準容器啟動。GPU 狀態目前尚未被儲存，因此還原後必須重建。
推薦理由：Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動，並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。
Modal BlogAI 評分2020 Modal 產品更新：L40S GPU、代理驗證權杖與沙箱磁碟快照
Modal 現在提供 NVIDIA L40S GPU，價格為每小時 1.95 美元，具備 48GB 記憶體，在記憶體密集型任務上效能提升最高達 40%，在運算密集型工作上相較其 A10 GPU 加速超過 100%。該平台還新增了用於管控網頁端點的 Proxy Auth 權杖、供沙箱使用的 Filesystem API，以及磁碟快照功能，讓使用者能從快照分支新的沙箱執行個體，以消除冷啟動。Modal 另外宣布已完成 SOC 2 Type 2 認證。
Modal BlogAI 評分5858 Modal Sandboxes 正式可用，為 LLM 與使用者程式碼提供隔離執行環境
Modal 宣布 Sandboxes 正式可用，這是其基礎元件，可在與其他 Modal 資源分離的隔離環境中，安全執行來自 LLM、使用者或第三方來源的不受信任程式碼。Sandboxes 提供簡單的 exec API、可透過 Image API 在執行時配置的環境，以及用於持久化的檔案系統快照。Modal 也將支援上游整合進 SWE-bench，其中 --modal 旗標可讓 Verified 基準測試的 500 項任務在大約 7 分鐘內執行完畢，並引用 Quora 的 Poe、Codegen 和 Relevance AI 作為客戶。
Modal BlogAI 評分2222 Modal 產品更新：更快的記憶體快照、OIDC、非同步任務佇列
Modal 發布了一輪產品更新，重點是對其 beta 版記憶體快照功能的重大升級，聲稱可將 Stable Diffusion 等模型的冷啟動時間縮短一半。該平台還新增了對 OpenID Connect 的支援，用於短效身分權杖；新增 eStargz 映像壓縮，以加快從 ECR 和 Docker Hub 等登錄檔建置的速度；並正在擴展非同步任務佇列，將輸入上限從 2k 提升至 100 萬。
Modal BlogAI 評分2525 Modal 新增 NVIDIA L40S GPU，AI 推論每小時 1.95 美元
Modal 現在以每小時 1.95 美元的價格向所有使用者提供 NVIDIA L40S GPU，定位為其最受歡迎的推論加速器 A10 的更快、記憶體更大的替代方案。L40S 將 GPU 記憶體加倍至 48GB，讓 Flux.1-schnell 等模型能在單一 GPU 上以 16 位元精度運行，並在記憶體受限的工作上帶來約 40% 的加速，在運算受限的 16 位元 Tensor Core 工作上加速超過 100%。
Modal BlogAI 評分3030 什麼是 LLM 微調？技術與工具指南
微調會調整預訓練 LLM 的權重，使其符合特定任務或領域，在品質上優於提示工程，且成本與延遲更低；相較於 GPT-3.5，微調後的 Llama 7B 在效能相當的情況下，每個 token 的成本效益約高出 50 倍。本指南涵蓋結構化輸出、風格遵循與領域專屬指令等使用案例，以及 OpenAI、Predibase、Modal、Google Colab 與 AWS SageMaker 等選項，還有 HuggingFace transformers、TRL 與 Axolotl 等框架。
Modal BlogAI 評分2222 Modal 內部黑客松：Browserman、Glodal 等基於 Modal 打造的專案
Modal 舉辦了一場內部黑客松，30 名員工組成 13 支隊伍，打造的所有專案都使用了 Modal。Browserman 是一個多模態 AI 代理，以 Llama-3.2-90B-Vision-Instruct-FP8、vLLM 和 Playwright 構建，能透過視覺化方式瀏覽網頁以完成任務。Glodal 則原型化了一個分散式控制平面，將請求延遲從 268ms 降至 3ms，Modal 目前正著手將其整合進平台中。
Modal BlogAI 評分2222 一支歐洲頂級足球隊如何用 Modal 將資料處理成本降低 50%
一支以 AFC Richmond 匿名的歐洲頂級足球隊，將其比賽追蹤資料管線遷移到 Modal 的無伺服器 GPU 平台，並將處理整個賽季比賽的成本降低了 50%。該隊透過一個基於 transformer 的自訂模型，對每場比賽約 350 萬筆追蹤觀測資料執行推論，而藉由在 Modal 上運行 Airflow，現在處理每場比賽的資料只需幾分鐘，而非數小時。
Modal BlogAI 評分2222 Modal 與 AWS 簽署策略合作協議，推動 GPU 加速生成式 AI
Modal 與 AWS 簽署策略合作協議，協助企業在其無伺服器平台上更快速地開發與部署 AI 產品，該平台專為 GPU 加速工作負載設計，可在最短一秒內啟動支援 GPU 的容器。作為協議的一部分，Modal 將上架 AWS Marketplace，並投資於 AWS PrivateLink 等整合功能，以服務有特定安全與隱私需求的客戶。
Modal BlogAI 評分2525 OpenArt 如何藉助 Modal 在數百個 GPU 上擴展其生成式 AI 藝術平台
OpenArt 將其專有的 ComfyUI 工作流程部署在 Modal 上，將部署時間從在 AWS 和 GCP 上所需的數小時縮短至數分鐘，並可自動擴展至數百個 GPU 容器。Modal 目前為該平台上的 100 多個工作流程提供支援，該平台每月活躍用戶超過 300 萬。
Cursor ChangelogAI 評分5858 Supermaven 加入 Cursor，團隊重心轉向 Cursor 編輯器
Cursor 宣布，快速且具情境感知能力的 AI 編碼助理 Supermaven 將加入該公司，Supermaven 創作者 Jacob Jackson 及其團隊也將一同加入。Cursor 表示，計畫推出新版 Tab 模型，速度快、具情境感知能力，且特別擅長處理大型編輯的長鏈條，而 Supermaven 外掛將持續維護，即使 Cursor 已成為團隊的核心重心。
Modal BlogAI 評分2222 Modal 產品更新：靜態 IP 代理、Slack 整合、即時用量儀表板與 GPU 備援
Modal 推出了靜態 IP 代理，可將對外流量導向工作區專屬的 IP，另外還推出原生 Slack 整合以提供應用程式即時警示，以及可追蹤所有工作區應用程式資源的即時用量儀表板。此次更新也為函式新增了 GPU 備援，擴大了函式可被排程的資源池，並包含用戶端變更，例如 `modal shell` 容器 ID 以及參數化函式的記憶體快照。
Modal BlogAI 評分2222 Tidbyt 加入 Modal
Tidbyt 是一家總部位於紐約、製造可程式化智慧家庭 LED 螢幕的公司，現已加入 Modal。Tidbyt 共同創辦人 Rohan Singh 與 Mats Linander 先前曾在 Spotify 從事容器基礎架構工作，為 Modal 專為資料／AI／ML 團隊打造的雲端基礎架構帶來大規模系統經驗。Tidbyt 的服務將持續為現有裝置運作，但不會再出貨新裝置。
Modal BlogAI 評分3838 為何 AI 的未來需要更靈活的 GPU 容量
Modal 認為，AI 的 GPU 短缺源於一種錯配：大部分需求流向訓練，但營收來自推論，而推論工作負載本質上波動不定。由於請求率會隨日夜循環、每週模式、爆紅流量與成長趨勢而起伏，固定的長期 GPU 預留會使真實世界的叢集使用率低於 50%。將眾多使用者的需求匯聚起來——以總和的峰值而非峰值的總和來配置資源——能大幅提升使用率，而跨區域匯聚供給則能進一步增加彈性。
Modal BlogAI 評分2222 使用 Modal、MongoDB 和 Clay 對加州衛星嵌入進行混合搜尋
一個示範應用程式利用時間戳、地理位置資料，以及來自 Clay v1 基礎模型的衛星影像嵌入，對加州全境進行混合搜尋。Modal 負責統籌每日的 Sentinel API 查詢、MongoDB Atlas 儲存，以及在 A10 GPU 上進行 GPU 嵌入推論，並透過 FastAPI 提供一個小型 Alpine JS 前端。
Modal BlogAI 評分2020 Contextual AI 如何利用 Modal GPU 實現 CI 自動化
Contextual AI 在 Modal 上將其基於 GPU 的持續整合自動化並行化，取代了在內部 GPU 節點上的人工測試執行。一個 GitHub Action 會觸發一個掛載多個 GPU 的 Modal Function，而快取的映像建置讓測試能在作業提交後 30 秒內開始。Modal 按用量計費，因此帳單中 99% 都是實際的測試執行時間。
Modal BlogAI 評分3838 Modal 新增原生動態批次處理，Whisper 吞吐量提升 2.8 倍
Modal 新增原生動態批次處理支援，讓推論函式透過單一 @modal.batched() 裝飾器搭配 max_batch_size 與 wait_ms 參數來分組請求。在 A10G 上執行 OpenAI 的 Whisper large v3 時，max_batch_size 設為 64 將吞吐量從每容器每秒約 1.2 次請求提升至約 3.3 次，並降低推論成本 65%。
Modal BlogAI 評分2222 Modal 產品更新：應用程式回滾、動態批次處理、沙箱通道與 OpenTelemetry
Modal 推出了應用程式回滾功能，讓使用者能從儀表板或 CLI 將已部署的應用程式還原至先前的版本，另外還有一個 @batched 裝飾器，可將請求累積成動態大小的批次，以延遲換取吞吐量和 GPU 使用率。Sandbox 物件現在可以將 TCP 連接埠轉發到網際網路並執行額外的程序，日誌也可以匯出到 OpenTelemetry 供應商。CPU 核心和更高階的 GPU 也變得更便宜了。
Modal BlogAI 評分2222 Modal 為 Enterprise 客戶新增 HIPAA 合規工作負載支援
Modal 現已支援 HIPAA 合規工作負載，提供給透過 security@modal.com 簽署業務夥伴協議（BAA）的 Enterprise 方案客戶。除 Volumes、Images（不含 Filesystem 與 Directory Snapshots）、Memory Snapshots 及使用者程式碼外，所有 Modal 功能皆納入 BAA 範圍；上述除外項目不應放置 PHI。Modal 以其最小權限資料處理與 gVisor 沙箱執行環境作為安全基礎，延續其 SOC 2 Type 1 公告與持續進行中的 SOC 2 Type 2 認證。
Cursor ChangelogAI 評分5858 Cursor 詳解用於背景 AI 程式碼迭代的 Shadow Workspace
Cursor 實作了一個 shadow workspace，讓其 AI 能在隱藏的 Electron 視窗中套用編輯並讀回 lint 結果，而不會影響使用者的編輯工作階段。文章概述了 LSP 可用性、獨立性、隱私、並行性與速度等設計目標，並說明為何複製 TextModel 或執行獨立的語言伺服器都行不通。文章也勾勒了未來用於可執行性的核心層級資料夾代理，並指出 macOS 與 Windows 缺乏可行的 FUSE 途徑，且 Rust LSP 支援目前尚不可用。
Cursor Changelog精選AI 評分6262 Cursor 完成 6000 萬美元 A 輪融資，投資方包括 Andreessen Horowitz、Thrive Capital 和 OpenAI
Cursor 完成 6000 萬美元 A 輪融資，投資方包括 Andreessen Horowitz、Thrive Capital、OpenAI、Jeff Dean、Noam Brown，以及 Stripe、GitHub、Ramp、Perplexity 和 OpenAI 的創辦人。這款 AI 程式設計工具表示，其用戶已增長至超過 40,000 名，涵蓋新創公司、研究機構和大型企業，並介紹了用於下一次編輯預測、跨數十億檔案檢索以及推測性推理程式碼重寫的內部系統。
推薦理由：Cursor 的 6000 萬美元 A 輪融資公告同時披露其用戶群已增長至超過 40,000 名，並列出了支持其 AI 程式設計工具的投資者。
Modal BlogAI 評分4242 Modal 將 CPU 和 GPU 價格下調 15-30%
Modal 將 CPU 和部分最強大 GPU 的價格下調 15-30%，理由是 GPU 供應池競爭加劇，以及過去一年推出了更強大的 GPU。該公司同時調整 CPU/記憶體計費方式，改為對每個運行中的容器按 max(預留, 用量) 收費，所有 Functions 的預設最低預留為 0.125 個 CPU 核心。Team 方案漲至每月 250 美元，包含不限席位和每月 100 美元額度，新價格將於 9 月對受影響的 Starter 和 Team/Enterprise 用戶生效。
Modal Blog精選AI 評分6262 Modal 重現 Large Language Monkeys：LLaMA 3.1 8B 透過搜尋在 HumanEval 上與 GPT-4o 匹敵
Modal 的 Charles Frye 在新資料集上重現了 Large Language Monkeys 論文的核心主張，顯示重複取樣讓 LLaMA 3.1 8B 在 HumanEval 上從 66.4% pass@1 提升到 90.5% pass@100 與 95.1% pass@1000，對比 GPT-4o 報告的 90.2% pass@1。這些執行使用 Modal 無伺服器 GPU 上的 vLLM，並以 Modal Sandboxes 進行平行測試執行，成本遠低於 50 美元，且在三個數量級上展現平滑、可預測的擴展。
推薦理由：一項實作重現顯示，小型開源模型搭配重複取樣如何在 HumanEval 上逼近 GPT-4o，提供了一個具體、低成本以運算換取準確率的配方。
Modal BlogAI 評分2222 Modal 產品更新：Datadog 整合、區域選擇、更低的函式延遲
Modal 的每月產品更新新增了 Datadog 整合，可一鍵轉發應用程式與稽核日誌，並為函式提供雲端區域選擇，以滿足法規、出口成本或資料庫鄰近性的需求。該公司也重新設計了函式呼叫系統，以更高的輸送量和顯著更低的額外負擔為目標，針對低延遲的即時生產工作負載，並徹底改造了應用程式詳細資料頁面，加入時間區間縮放、容器狀態和映像檔檔案系統檢視。
Modal BlogAI 評分3030 競爭性提示工程：Basis 在 Modal 上舉辦提示奧林匹克
Basis 舉辦了提示奧林匹克（Prompt Olympics），這是一場競爭性程式設計風格的提示工程競賽，獎金 5,000 美元，並在 Modal 的基礎設施上運行。在其中一項挑戰中，參賽者撰寫提示來引導部署在 Modal 上的 LLaMA 3 70B 生成程式碼，這些程式碼必須通過 Modal Sandboxes 內的測試。決賽則讓參賽者透過提示來控制 Crafter 遊戲代理；Basis 發現，即使是像 LLaMA 3 70B 這樣能力不錯的開源模型，也很難有效地對其進行提示，因此該組件改用專有模型 API。
Modal BlogAI 評分2525 從 Airflow 使用 Modal 執行 GPU 任務
Modal 現在可以直接從 Airflow DAG 觸發，讓團隊無需設置 Celery 或 Kubernetes executor 即可執行由 GPU 支援的 AI/ML 任務。本指南涵蓋在 Airflow 環境中安裝 Modal、設置 MODAL_TOKEN_ID 與 MODAL_TOKEN_SECRET，以及兩種方法：透過 lookup 呼叫已部署的 Modal Functions，或建立自訂 operator 在 Modal Sandboxes 中執行 Python。Modal Airflow provider 套件正在開發中。
Modal BlogAI 評分3838 Modal 如何利用系統呼叫特徵捕捉加密貨幣礦工
Modal 在其無伺服器容器執行環境中新增了一個名為 seccheck 的執行期程式分析元件，能在封禁違規使用者之前偵測並停用用於加密貨幣挖礦的 Functions。由於礦工可以更改中繼資料，卻無法更改其程式，Modal 分析的是系統呼叫日誌，而非原始碼、二進位檔或容器映像。該系統避開了基於 ptrace 的 strace 額外開銷，這種開銷可能使系統呼叫密集的程式變慢超過 100 倍。
Cursor ChangelogAI 評分4040 Cursor 勾勒下一階段 AI 編程難題：動作預測、完美編輯、最佳上下文
Cursor 發布了其最初「Problems」文章的後續，列出它認為對下一階段 AI 編程最關鍵的研究問題。該公司已將 Copilot++ 擴展到預測下一個游標位置，並將其與下一次編輯預測結合，讓模型能夠「演奏」低熵變更序列——一個演示需要按 11 次 Tab 鍵，而其他每個鍵按 3 次，Cursor 稱之為 Cursor Flow。其他方向包括跨代碼庫的動作預測、透過更多推理時計算實現完美編輯、幻覺偽代碼、多檔案編輯、最佳上下文、多跳上下文，以及錯誤偵測與除錯。
Modal BlogAI 評分2222 Hunch 如何運用 Modal Sandboxes 安全執行 AI 生成的程式碼
Hunch 是一個空間畫布，整合了 OpenAI GPT-4o、Anthropic Claude 3 Opus 和 Stable Diffusion 3 等模型，並使用 Modal Sandboxes 在隔離的臨時容器中安全執行 AI 生成的程式碼。此整合僅需幾行 Python 程式碼，並支援 pip 安裝、附加儲存磁碟區和自動擴展。Hunch 表示，這套設定讓非程式設計人員也能建立工作流程，用以擷取 API 資料或將結果傳送至 Slack webhooks。
Modal BlogAI 評分3131 在 Heroicons 上微調 Stable Diffusion 以打造無限圖示庫
Modal 在約 300 個 SVG 的 Heroicons 圖示庫上微調了一個 Stable Diffusion 模型，以生成該風格的新黑白線條圖示，包括 barack-obama 和 golden-retriever 等概念的圖示。完整流程——下載預訓練模型、使用 HuggingFace Diffusers 的 train_text_to_image.py 腳本進行完整微調，以及提供 Gradio 網頁介面——都在 Modal 的無伺服器 GPU 平台上執行。文章詳細說明了資料集準備（SVG 轉 PNG、白色背景、標註檔 metadata.csv），並指出完整微調效果最好，不過 LoRA 式的平行適配器也可用於小型資料集。
Modal BlogAI 評分2525 為什麼 Substack 將其 AI 與 ML 管線遷移到 Modal
Substack 已將幾乎所有 ML 模型的訓練與部署——包括垃圾郵件偵測、電子報推薦、音訊轉錄、情感分析和圖像生成——從 AWS SageMaker 遷移到 Modal。AI 與 ML 工程負責人 Mike Cohen 指出 SageMaker 的開發者體驗繁瑣、程式碼難以在 notebook 之間共享，以及容器啟動時間超過 5 分鐘；而在 Modal 上，一個推論端點只花一小時就實作完成。Substack 現在在 Modal 的儲存原語上運行完整的微調、驗證與部署工作流程。
Modal BlogAI 評分1818 Modal 產品更新：雲端儲存桶掛載、Okta SSO 等更多功能
Modal 的每月產品更新新增了 AWS S3 和 Cloudflare R2 儲存桶的可寫入掛載、用於在指定連接埠上託管非 ASGI/WSGI 網頁伺服器的 @web_server 裝飾器，以及為企業方案使用者提供的 Okta 單一登入。網頁儀表板中的磁碟區檢視器讓使用者能夠瀏覽磁碟區檔案系統，而最新用戶端則新增了透過 .include 進行多檔案應用程式組合、分割佇列，以及 Sandboxes 的 stdin 支援。
Modal BlogAI 評分5050 微調開源嵌入模型以擊敗 OpenAI 的 text-embedding-3-small
一個經過微調的開源嵌入模型，只需少量範例，就能以更低成本在準確度上超越 OpenAI 的 text-embedding-3-small。Modal 在 Quora 重複問題資料集上進行了一項實驗，以找出一個簡單的問答用例需要多少微調資料，並描述了如何在其無伺服器基礎設施上建置一個。
Modal BlogAI 評分1212 Modal 入選 Wing 2024 年 Enterprise Tech 30 榜單
Modal 是為 AI 與資料團隊打造的无伺服器平台，獲選進入 Wing 第六屆年度 Enterprise Tech 30 榜單，在早期階段類別的十家公司中排名第三。該榜單由 112 位創投家與 36 個企業發展團隊，從近 600 家創投支持的未上市企業科技公司中評選而出。
Modal BlogAI 評分2222 Ramp 如何在 Modal 上以微調 LLM 自動化收據處理
Ramp 使用 Modal 微調其 LLM，並打造一個文字轉結構化 JSON 的模型來管理收據，將需要人工介入的收據減少 34%，其基礎設施成本估計比 OpenAI 等主要 LLM 供應商便宜 79%。Modal 函式平行訓練了許多候選模型，將權重持久化到 Modal volumes，並提供參數化的推論端點。一名工程師還將一支用於 25,000 張發票的 PII 移除腳本移植到 Modal，在 256 個雲端 worker 上平行處理，20 分鐘內完成，花費 100 美元，而非在本地耗時 3 天。
Modal BlogAI 評分3636 Modal 的 modal-http：在無伺服器基礎架構上提供 Web 函式
Modal 打造了 modal-http，這是一套 HTTP 與 WebSocket 堆疊，讓其無伺服器函式能夠接收 Web 請求，完整的 WebSocket 支援近期已完成。有別於 AWS Lambda 的 15 分鐘與 50 MB 限制，Modal 容器最多可使用 64 顆 CPU、336 GB 記憶體與 8 張 Nvidia H100 GPU，因此團隊將 HTTP 轉譯為函式呼叫，而非以傳統反向代理前端容器。