用 Modal 和 Hugging Face TEI 在 15 分鐘內嵌入英文維基百科
Modal 和 Hugging Face 的文字嵌入推論伺服器，可在大約 15 分鐘內嵌入整部英文維基百科，費用僅略高於 15 美元，靠的是 Modal 的無伺服器 GPU 擴縮能力。文章主張，對正式環境的 RAG 而言，開源嵌入模型勝過 OpenAI 的 text-embedding-ada-002 這類以 API 為基礎的模型，因為前者可用使用者資料微調，並避開速率限制與按權杖計費。
全部動態
Modal BlogAI 評分4040
Cursor ChangelogAI 評分3838 Cursor 的問題清單：更好的上下文、編輯 Copilot、受約束的代理
Cursor 公布了一份它正在處理的問題清單，包括訓練一個自訂的快速重排序器，將所有來源的 500k 個 token 過濾到每次請求最相關的 8k。該清單還涵蓋一個面向編輯的 copilot、針對大型程式碼庫的受約束流程內代理、錯誤尋找，以及更大規模的編輯。截至 2023 年 10 月 12 日，Cursor 已索引 1.4B 個向量和 150k 個程式碼庫。
Modal BlogAI 評分5858 Modal 正式全面開放，並宣布 1600 萬美元 A 輪融資
Modal 宣布其雲端函數平台現已正式全面開放，任何人都能在幾分鐘內註冊並在雲端執行 Python 程式碼，此前該平台於 2022 年開放了候補名單。該平台提供按秒計費的無伺服器執行、在 A100、A10G、T4、L4 和 H100 上自動擴展的 GPU 推論端點，以及跨數千個容器的大規模批次作業，且無需 YAML 配置。Modal 還完成了由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，領投種子輪的 Amplify Partners 也參與其中，並計劃利用這筆資金加速其產品路線圖。
Modal BlogAI 評分3636 Modal Labs 完成 1600 萬美元 A 輪融資並推出其雲端基礎設施平台
Modal Labs 已完成由 Redpoint Ventures 領投的 1600 萬美元 A 輪融資，既有投資者 Amplify Partners 及新參與者 Lux Capital、Definition Capital 等跟投，總融資額達到 2300 萬美元。該公司還正式推出了其雲端平台，此前該平台處於測試階段，早期客戶包括 Ramp、Substack 和 SphinxBio，並將利用這筆資金加速產品開發，並在紐約市總部招聘工程師。
Cursor Changelog精選AI 評分6262 Cursor 分析 Llama-2-70B 推論成本與延遲，並與 GPT-3.5 對比
Cursor 在 2 張 80-GB A100 GPU 上測量 Llama-2-70B 的推論，發現就提示詞 token 而言，它比 GPT-3.5 便宜超過 3 倍，但在小批次規模下，生成 token 則貴得多。提示詞處理每 1K token 約 $0.00042，而 GPT-3.5 為 $0.0015；生成在批次大小為 1 時達到每 1K token $0.066，只有在大批次下才接近 GPT-3.5 的價格，而大批次會把首 token 時間推遲到數秒。Cursor 建議對分類與重排序這類提示詞密集的任務使用開源模型，對生成密集的工作負載則使用閉源 API。
推薦理由：Cursor 測得的成本與延遲數據顯示了自託管 Llama-2-70B 何時優於 GPT-3.5、何時不然，為開源模型服務決策提供了可複用的框架。
Cursor ChangelogAI 評分3838 Cursor 的 Arvid Lunnemark 談為何 prompting 應稱為 prompt design
Cursor 研究員 Arvid Lunnemark 主張，prompting 應稱為「prompt design」，並與網頁設計相提並論，因為兩者都追求與動態輸入進行清晰溝通，且都必須讓內容配合不同的「尺寸」——網頁對應螢幕尺寸，prompt 對應上下文視窗。他發布了 Priompt v0.1，這是一個類似 React、以 JSX 為基礎的 prompt 設計函式庫，已在 Cursor 內部使用，並附有預覽網站，可依據真實請求資料渲染 prompt。