Tới nội dung
#Triển khai / kỹ thuật
20 tháng 6, 2024Thứ Năm
  1. Modal Blog25

    Chạy tác vụ GPU từ Airflow với Modal

    Modal giờ đây có thể được kích hoạt trực tiếp từ một DAG của Airflow, cho phép các nhóm chạy các tác vụ AI/ML dùng GPU mà không cần thiết lập Celery hay Kubernetes executor. Hướng dẫn bao gồm việc cài đặt Modal trong môi trường Airflow, thiết lập MODAL_TOKEN_ID và MODAL_TOKEN_SECRET, và hai cách tiếp cận: gọi các Modal Function đã triển khai thông qua lookup, hoặc xây dựng một operator tùy chỉnh chạy Python trong Modal Sandboxes. Một gói Airflow provider cho Modal đang được phát triển.

6 tháng 6, 2024Thứ Năm
  1. Modal Blog38

    Modal phát hiện thợ đào tiền mã hóa bằng chữ ký syscall như thế nào

    Modal đã thêm một thành phần phân tích chương trình lúc chạy có tên seccheck vào runtime container serverless của mình, phát hiện và vô hiệu hóa các Function đào tiền mã hóa trước khi cấm những người dùng vi phạm. Vì thợ đào có thể thay đổi metadata nhưng không thể thay đổi chương trình của họ, Modal phân tích nhật ký syscall thay vì mã nguồn, tệp nhị phân hoặc image container. Hệ thống tránh được chi phí của strace dựa trên ptrace, vốn có thể làm chậm các chương trình nhiều syscall hơn 100 lần.

26 tháng 5, 2024Chủ Nhật
  1. Cursor Changelog40

    Cursor phác thảo các vấn đề lập trình AI giai đoạn tiếp theo: Dự đoán hành động, Chỉnh sửa hoàn hảo, Ngữ cảnh tối ưu

    Cursor đã công bố bài viết tiếp nối cho bài đăng "Problems" gốc của mình, liệt kê các câu hỏi nghiên cứu mà công ty coi là quan trọng nhất đối với giai đoạn tiếp theo của lập trình AI. Công ty đã mở rộng Copilot++ để dự đoán vị trí con trỏ tiếp theo, và kết hợp điều đó với dự đoán chỉnh sửa tiếp theo cho phép mô hình "chơi" chuỗi các thay đổi có độ hỗn loạn thấp—một bản demo cần 11 lần nhấn Tab so với 3 lần nhấn mọi phím khác, mà Cursor gọi là Cursor Flow. Các hướng khác bao gồm dự đoán hành động trên toàn bộ cơ sở mã, chỉnh sửa hoàn hảo thông qua nhiều tính toán suy luận hơn, mã giả ảo giác, chỉnh sửa nhiều tệp, ngữ cảnh tối ưu, ngữ cảnh đa bước, và phát hiện lỗi và gỡ lỗi.

23 tháng 5, 2024Thứ Năm
  1. Modal Blog22

    Hunch sử dụng Modal Sandboxes như thế nào để chạy mã do AI tạo ra một cách an toàn

    Hunch, một không gian vẽ kết hợp các mô hình như OpenAI GPT-4o, Anthropic Claude 3 Opus và Stable Diffusion 3, sử dụng Modal Sandboxes để thực thi mã do AI tạo ra một cách an toàn trong các container cô lập, tạm thời. Việc tích hợp chỉ cần vài dòng Python và hỗ trợ cài đặt pip, gắn ổ lưu trữ và tự động mở rộng quy mô. Hunch cho biết thiết lập này cho phép những người không biết lập trình xây dựng các quy trình làm việc để lấy dữ liệu API hoặc gửi kết quả đến Slack webhooks.

21 tháng 5, 2024Thứ Ba
  1. Modal Blog31

    Tinh chỉnh Stable Diffusion trên Heroicons để tạo Thư viện Biểu tượng Vô hạn

    Modal đã tinh chỉnh một mô hình Stable Diffusion trên thư viện Heroicons khoảng 300 SVG để tạo ra các biểu tượng đường nét đen trắng mới theo phong cách đó, bao gồm cả các biểu tượng cho các khái niệm như barack-obama và golden-retriever. Toàn bộ quy trình — tải mô hình đã huấn luyện trước, tinh chỉnh toàn phần với script train_text_to_image.py của HuggingFace Diffusers, và phục vụ giao diện web Gradio — chạy trên nền tảng GPU không máy chủ của Modal. Bài viết trình bày chi tiết việc chuẩn bị dữ liệu (chuyển đổi SVG sang PNG, nền trắng, siêu dữ liệu chú thích metadata.csv) và lưu ý rằng tinh chỉnh toàn phần hoạt động tốt nhất, mặc dù các bộ điều hợp song song kiểu LoRA cũng có thể hiệu quả với tập dữ liệu nhỏ.

20 tháng 5, 2024Thứ Hai
  1. Modal Blog25

    Vì sao Substack chuyển các pipeline AI và ML của mình sang Modal

    Substack đã chuyển việc huấn luyện và triển khai gần như toàn bộ các mô hình ML của mình—bao gồm phát hiện spam, gợi ý bản tin, phiên âm âm thanh, phân tích cảm xúc và tạo hình ảnh—từ AWS SageMaker sang Modal. Trưởng bộ phận Kỹ thuật AI & ML Mike Cohen nêu lý do là trải nghiệm lập trình rối rắm của SageMaker, khó chia sẻ mã giữa các notebook và thời gian khởi động container mất hơn 5 phút; trên Modal, một endpoint suy luận chỉ mất một giờ để triển khai. Substack hiện vận hành toàn bộ quy trình tinh chỉnh, kiểm định và triển khai trên các primitive lưu trữ của Modal.

7 tháng 5, 2024Thứ Ba
  1. Modal Blog18

    Cập nhật sản phẩm Modal: Gắn bộ chứa đám mây, Okta SSO và hơn thế nữa

    Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tính năng gắn có thể ghi cho các bộ chứa AWS S3 và Cloudflare R2, một decorator @web_server để lưu trữ các máy chủ web không phải ASGI/WSGI trên một cổng chỉ định, và đăng nhập một lần Okta cho người dùng gói doanh nghiệp. Trình xem volume trong bảng điều khiển web cho phép người dùng khám phá hệ thống tệp của volume, và ứng dụng khách mới nhất bổ sung tính năng kết hợp ứng dụng đa tệp qua .include, hàng đợi phân vùng và hỗ trợ stdin cho Sandboxes.

26 tháng 4, 2024Thứ Sáu
  1. Modal Blog50

    Tinh chỉnh một mô hình embedding mã nguồn mở để đánh bại text-embedding-3-small của OpenAI

    Một mô hình embedding mã nguồn mở được tinh chỉnh có thể vượt trội hơn text-embedding-3-small của OpenAI về độ chính xác với chi phí thấp hơn chỉ bằng một vài ví dụ. Modal đã chạy một thử nghiệm trên bộ dữ liệu câu hỏi trùng lặp Quora để tìm hiểu lượng dữ liệu tinh chỉnh mà một trường hợp sử dụng hỏi đáp đơn giản cần, và mô tả cách xây dựng một mô hình như vậy trên hạ tầng serverless của mình.

26 tháng 3, 2024Thứ Ba
  1. Modal Blog22

    Ramp đã tự động hóa xử lý hóa đơn bằng LLM tinh chỉnh trên Modal như thế nào

    Ramp đã sử dụng Modal để tinh chỉnh các LLM của mình và xây dựng một mô hình chuyển văn bản thành JSON có cấu trúc cho việc quản lý hóa đơn, giảm 34% số hóa đơn cần can thiệp thủ công trên hạ tầng ước tính rẻ hơn 79% so với các nhà cung cấp LLM lớn như OpenAI. Các hàm Modal đã huấn luyện nhiều mô hình ứng viên song song, lưu trữ trọng số vào Modal volumes và phục vụ một endpoint suy luận được tham số hóa. Một kỹ sư cũng đã chuyển một script loại bỏ PII cho 25.000 hóa đơn sang Modal, song song hóa nó trên 256 worker đám mây để hoàn thành trong 20 phút với chi phí 100 USD thay vì 3 ngày chạy cục bộ.

14 tháng 3, 2024Thứ Năm
  1. Modal Blog36

    modal-http của Modal: Phục vụ các hàm web trên hạ tầng serverless

    Modal đã xây dựng modal-http, một ngăn xếp HTTP và WebSocket cho phép các hàm serverless của mình nhận yêu cầu web, với hỗ trợ WebSocket đầy đủ vừa được hoàn thiện. Khác với giới hạn 15 phút và 50 MB của AWS Lambda, các container của Modal có thể sử dụng tới 64 CPU, 336 GB bộ nhớ và 8 GPU Nvidia H100, vì vậy nhóm đã chuyển đổi HTTP thành các lệnh gọi hàm thay vì đặt các container phía sau một reverse proxy thông thường.

27 tháng 2, 2024Thứ Ba
  1. Modal Blog38

    Modal bổ sung hỗ trợ WebSocket cho ứng dụng thời gian thực

    Modal hiện đã hỗ trợ kết nối WebSocket, cho phép các hàm trên nền tảng của nó duy trì liên kết hai chiều, liên tục giữa máy khách và máy chủ thay vì kết nối HTTP theo từng yêu cầu. Mỗi kết nối WebSocket được tính là một đầu vào, vì vậy các hàm không bị giới hạn bởi CPU/GPU nên cho phép đầu vào đồng thời hoặc Modal khởi tạo một container mới cho mỗi kết nối. Modal tự động mở rộng các trình xử lý WebSocket, nhắm đến truyền phát thời gian thực, cập nhật tiến độ trên các tác vụ chạy dài và lưu trữ các framework như ComfyUI, Streamlit và Gradio.

21 tháng 2, 2024Thứ Tư
  1. Modal Blog22

    Suno đã rút ngắn 4 tháng trong lịch trình ra mắt nhờ Modal như thế nào

    Suno đã sử dụng Modal để mở rộng quy mô suy luận và tiền xử lý hàng loạt trên hàng nghìn GPU, đưa mô hình tạo nhạc của mình ra thị trường sớm bốn tháng thay vì phải thuê kỹ sư để xây dựng và duy trì cơ sở hạ tầng. Nhóm đã chạy tiền xử lý hàng loạt bằng vài đoạn script Python ngắn và không cần tệp cấu hình, sau đó mở rộng sang triển khai mô hình với các hàm được phơi bày qua HTTP và suy luận chuỗi trên nhiều mô hình và container. Tính năng tự động mở rộng của Modal lên đến hàng nghìn GPU đã xử lý các đợt tăng nhu cầu trong kỳ nghỉ mà không cần đặt trước GPU dài hạn.

15 tháng 2, 2024Thứ Năm
  1. Modal Blog22

    Cập nhật sản phẩm Modal: hỗ trợ WebSocket, lệnh tương tác và GPU H100

    Modal đã bổ sung hỗ trợ WebSocket cho các hàm của mình, cho phép lưu trữ sẵn các framework như Streamlit, cùng với các lệnh tương tác qua `modal container exec` để kiểm tra và gỡ lỗi các container đang hoạt động. GPU H100 hiện đã có sẵn trên Modal, và bản cập nhật client bổ sung các hook vòng đời `@build`, tự động commit nền cho Volumes, và mở rộng các lệnh CLI bao gồm get, put và rm.

6 tháng 2, 2024Thứ Ba
  1. Modal Blog38

    Modal cung cấp GPU NVIDIA H100 cho tất cả người dùng

    Modal đã cung cấp GPU NVIDIA H100 cho tất cả người dùng, với giá 7,65 USD mỗi giờ cho mỗi GPU. Kết quả đánh giá hiệu năng của NVIDIA cho thấy H100 mang lại tốc độ huấn luyện nhanh hơn tới 4 lần và tốc độ suy luận nhanh hơn tới 30 lần so với A100, với 80 GB DRAM trên chip và tối đa 8 GPU được liên kết qua NVLink với tốc độ 3,6 TB/s. Người dùng kích hoạt bằng cách đặt "H100" làm loại GPU trong decorator của Modal.

23 tháng 1, 2024Thứ Ba
  1. Modal Blog40

    Nhúng toàn bộ Wikipedia tiếng Anh trong chưa đầy 15 phút với Modal và Hugging Face TEI

    Máy chủ Text Embedding Inference của Modal và Hugging Face có thể nhúng toàn bộ Wikipedia tiếng Anh trong khoảng 15 phút với chi phí chỉ hơn 15 đô la, nhờ khả năng mở rộng GPU không máy chủ của Modal. Bài viết lập luận rằng các mô hình nhúng mã nguồn mở vượt trội hơn các mô hình dựa trên API như text-embedding-ada-002 của OpenAI cho RAG trong môi trường sản xuất, vì chúng có thể được tinh chỉnh trên dữ liệu người dùng và tránh được giới hạn tốc độ cũng như chi phí theo token.

10 tháng 10, 2023Thứ Ba
  1. Modal Blog58

    Modal chính thức mở rộng toàn diện, đồng thời công bố vòng gọi vốn Series A trị giá 16 triệu USD

    Modal thông báo nền tảng hàm đám mây của mình hiện đã được phát hành rộng rãi, cho phép bất kỳ ai đăng ký và chạy mã Python trên đám mây trong vòng vài phút, sau khi mở danh sách chờ vào năm 2022. Nền tảng cung cấp thực thi không máy chủ tính phí theo giây, các endpoint suy luận GPU tự động mở rộng trên A100, A10G, T4, L4 và H100, cùng các tác vụ hàng loạt quy mô lớn trên hàng nghìn container mà không cần cấu hình YAML. Modal cũng đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn đầu, cùng với Amplify Partners, đơn vị đã dẫn đầu vòng hạt giống, và dự định sử dụng số vốn này để tăng tốc lộ trình sản phẩm của mình.

  2. Modal Blog36

    Modal Labs huy động được 16 triệu USD vòng Series A và ra mắt nền tảng hạ tầng đám mây

    Modal Labs đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn dắt, với sự tham gia của nhà đầu tư hiện hữu Amplify Partners và các nhà đầu tư mới bao gồm Lux Capital và Definition Capital, nâng tổng số vốn huy động lên 23 triệu USD. Công ty cũng chính thức ra mắt nền tảng đám mây của mình, trước đó đang ở giai đoạn beta với các khách hàng đầu tiên như Ramp, Substack và SphinxBio, và sẽ sử dụng số vốn này để đẩy nhanh phát triển sản phẩm và tuyển dụng kỹ sư tại trụ sở chính ở Thành phố New York.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.

12 tháng 6, 2023Thứ Hai
  1. Cursor Changelog38

    Arvid Lunnemark của Cursor: vì sao nên gọi prompting là prompt design

    Nhà nghiên cứu Arvid Lunnemark của Cursor lập luận rằng prompting nên được gọi là "prompt design" và so sánh với web design, vì cả hai đều theo đuổi giao tiếp rõ ràng với đầu vào động và phải điều chỉnh nội dung cho phù hợp với các "kích cỡ" khác nhau — kích cỡ màn hình đối với web, context window đối với prompt. Ông đã phát hành Priompt v0.1, một thư viện thiết kế prompt dựa trên JSX giống React đã được dùng trong Cursor, kèm một trang xem trước để render prompt dựa trên dữ liệu request thực tế.