Tới nội dung
Chỉ Chính chủ#Triển khai / kỹ thuật
10 tháng 12, 2024Thứ Ba
  1. Modal Blog22

    Cuộc thi hackathon nội bộ của Modal: Browserman, Glodal và nhiều dự án khác được xây dựng trên Modal

    Modal đã tổ chức một cuộc thi hackathon nội bộ, trong đó 30 nhân viên thành lập 13 đội để xây dựng các dự án đều sử dụng Modal. Browserman là một tác nhân AI đa phương thức được xây dựng với Llama-3.2-90B-Vision-Instruct-FP8, vLLM và Playwright, có khả năng điều hướng web bằng hình ảnh để hoàn thành nhiệm vụ. Glodal đã tạo mẫu một mặt phẳng điều khiển phân tán giúp giảm độ trễ yêu cầu từ 268ms xuống 3ms, và Modal hiện đang làm việc để tích hợp nó vào nền tảng.

4 tháng 12, 2024Thứ Tư
  1. Modal Blog22

    Một đội bóng đá hàng đầu châu Âu cắt giảm 50% chi phí xử lý dữ liệu nhờ Modal

    Một đội bóng đá hàng đầu châu Âu, được ẩn danh là AFC Richmond, đã chuyển pipeline dữ liệu theo dõi trận đấu của mình sang nền tảng GPU serverless của Modal và cắt giảm 50% chi phí xử lý dữ liệu của một mùa giải đầy đủ. Đội bóng này chạy suy luận trên khoảng 3,5 triệu quan sát theo dõi mỗi trận thông qua một mô hình dựa trên transformer tùy chỉnh, và với Airflow trên Modal hiện xử lý dữ liệu mỗi trận trong vài phút thay vì vài giờ.

24 tháng 11, 2024Chủ Nhật
  1. Modal Blog22

    Modal ký Thỏa thuận Hợp tác Chiến lược với AWS cho AI tạo sinh tăng tốc bằng GPU

    Modal đã ký Thỏa thuận Hợp tác Chiến lược với AWS nhằm giúp các doanh nghiệp phát triển và triển khai sản phẩm AI nhanh hơn trên nền tảng serverless của mình cho các khối lượng công việc tăng tốc bằng GPU, có thể khởi tạo các container được trang bị GPU chỉ trong vòng một giây. Theo thỏa thuận, Modal sẽ niêm yết trên AWS Marketplace và đầu tư vào các tích hợp như AWS PrivateLink để phục vụ khách hàng có yêu cầu cụ thể về bảo mật và quyền riêng tư.

20 tháng 11, 2024Thứ Tư
  1. Modal Blog25

    OpenArt mở rộng quy mô nền tảng nghệ thuật AI tạo sinh trên hàng trăm GPU với Modal như thế nào

    OpenArt đã triển khai các quy trình ComfyUI độc quyền của mình trên Modal, rút ngắn thời gian triển khai từ hàng giờ trên AWS và GCP xuống còn vài phút và tự động mở rộng lên hàng trăm container GPU. Modal hiện vận hành hơn 100 quy trình trên nền tảng, phục vụ hơn 3 triệu người dùng hoạt động hàng tháng.

8 tháng 11, 2024Thứ Sáu
  1. Modal Blog22

    Cập nhật sản phẩm Modal: proxy IP tĩnh, tích hợp Slack, bảng điều khiển sử dụng trực tiếp và dự phòng GPU

    Modal đã phát hành proxy IP tĩnh định tuyến lưu lượng truy cập ra ngoài qua các IP độc quyền của workspace, cùng với tích hợp Slack gốc để nhận cảnh báo ứng dụng theo thời gian thực và bảng điều khiển sử dụng trực tiếp theo dõi tài nguyên trên tất cả ứng dụng trong workspace. Bản cập nhật cũng bổ sung dự phòng GPU cho các hàm, mở rộng nhóm tài nguyên mà một hàm có thể được lập lịch trên đó, và các thay đổi phía client bao gồm ID container của `modal shell` và chụp nhanh bộ nhớ cho các hàm được tham số hóa.

26 tháng 10, 2024Thứ Bảy
  1. Modal Blog38

    Vì sao tương lai của AI cần năng lực GPU linh hoạt hơn

    Modal lập luận rằng tình trạng thiếu hụt GPU cho AI bắt nguồn từ sự lệch pha: phần lớn nhu cầu dồn vào huấn luyện, nhưng suy luận mới là nơi tạo ra doanh thu, và khối lượng công việc suy luận vốn dĩ biến động mạnh. Vì tốc độ yêu cầu dao động theo chu kỳ ngày đêm, mô hình hàng tuần, lưu lượng lan truyền và xu hướng tăng trưởng, việc đặt trước GPU dài hạn cố định khiến hiệu suất sử dụng cụm trong thực tế xuống dưới 50%. Gộp nhu cầu của nhiều người dùng lại — cấp phát cho đỉnh của tổng thay vì tổng của các đỉnh — có thể nâng cao mạnh hiệu suất sử dụng, và gộp nguồn cung theo khu vực có thể bổ sung thêm tính linh hoạt.

24 tháng 9, 2024Thứ Ba
  1. Modal Blog22

    Tìm kiếm kết hợp trên nhúng vệ tinh California với Modal, MongoDB và Clay

    Một ứng dụng demo thực hiện tìm kiếm kết hợp trên toàn bang California bằng dấu thời gian, dữ liệu định vị địa lý và nhúng ảnh vệ tinh từ mô hình nền tảng Clay v1. Modal điều phối các truy vấn API Sentinel hàng ngày, lưu trữ MongoDB Atlas và suy luận nhúng trên GPU A10, với giao diện frontend Alpine JS nhỏ được phục vụ qua FastAPI.

18 tháng 9, 2024Thứ Tư
  1. Modal Blog20

    Contextual AI đã tự động hóa CI với GPU Modal như thế nào

    Contextual AI đã tự động hóa và song song hóa quy trình tích hợp liên tục (CI) dựa trên GPU của mình trên Modal, thay thế các lần chạy thử thủ công trên các node GPU nội bộ. Một GitHub Action kích hoạt một Modal Function với nhiều GPU được gắn vào, và các bản dựng image được lưu trong bộ nhớ đệm cho phép các bài kiểm thử bắt đầu trong vòng 30 giây kể từ khi gửi job. Modal tính phí theo mức sử dụng, vì vậy 99% những gì được tính phí là thời gian chạy thử thực tế.

16 tháng 9, 2024Thứ Hai
  1. Modal Blog38

    Modal bổ sung dynamic batching gốc, tăng thông lượng Whisper 2,8 lần

    Modal đã bổ sung hỗ trợ dynamic batching gốc, cho phép các hàm inference nhóm yêu cầu thông qua một decorator @modal.batched() duy nhất với các tham số max_batch_size và wait_ms. Trên Whisper large v3 của OpenAI chạy trên A10G, max_batch_size là 64 đã nâng thông lượng từ ~1,2 lên ~3,3 yêu cầu mỗi giây trên mỗi container và giảm 65% chi phí inference.

6 tháng 9, 2024Thứ Sáu
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Hoàn nguyên ứng dụng, Xử lý theo lô động, Đường hầm Sandbox và OpenTelemetry

    Modal đã phát hành tính năng hoàn nguyên ứng dụng cho phép người dùng khôi phục một ứng dụng đã triển khai về phiên bản trước đó từ bảng điều khiển hoặc CLI, cùng với decorator @batched tích lũy các yêu cầu thành các lô có kích thước động để đánh đổi độ trễ lấy thông lượng và mức sử dụng GPU. Các đối tượng Sandbox giờ đây có thể chuyển tiếp cổng TCP ra internet và thực thi thêm các tiến trình, và nhật ký có thể được xuất sang nhà cung cấp OpenTelemetry. Lõi CPU và các GPU cao cấp hơn cũng trở nên rẻ hơn.

4 tháng 9, 2024Thứ Tư
  1. Modal Blog22

    Modal bổ sung hỗ trợ khối lượng công việc tuân thủ HIPAA cho khách hàng Enterprise

    Modal hiện hỗ trợ khối lượng công việc tuân thủ HIPAA, dành cho khách hàng gói Enterprise ký Thỏa thuận liên kết doanh nghiệp (BAA) qua security@modal.com. Tất cả các tính năng của Modal đều nằm trong phạm vi BAA ngoại trừ Volumes, Images (không bao gồm Filesystem và Directory Snapshots), Memory Snapshots và mã người dùng, nơi không nên đặt PHI. Modal viện dẫn việc xử lý dữ liệu theo nguyên tắc đặc quyền tối thiểu và runtime sandbox gVisor làm nền tảng bảo mật, tiếp nối thông báo SOC 2 Type 1 và chứng nhận SOC 2 Type 2 đang được tiến hành.

2 tháng 9, 2024Thứ Hai
  1. Cursor Changelog58

    Cursor trình bày chi tiết Shadow Workspace cho quá trình lặp mã AI chạy nền

    Cursor đã triển khai một shadow workspace cho phép AI của mình áp dụng các chỉnh sửa trong một cửa sổ Electron ẩn và đọc lại kết quả lint mà không đụng đến phiên chỉnh sửa của người dùng. Bài viết phác thảo các mục tiêu thiết kế về tính khả dụng của LSP, tính độc lập, quyền riêng tư, tính đồng thời và tốc độ, đồng thời giải thích lý do vì sao việc sao chép một TextModel hoặc chạy các language server riêng biệt đã thất bại. Bài viết cũng phác thảo một proxy thư mục cấp kernel trong tương lai cho khả năng chạy được, lưu ý rằng macOS và Windows thiếu một đường dẫn FUSE khả thi và hỗ trợ LSP cho Rust hiện không khả dụng.

6 tháng 8, 2024Thứ Ba
  1. Modal Blog42

    Modal giảm giá CPU và GPU từ 15-30%

    Modal đang giảm giá CPU và một số GPU mạnh nhất của mình từ 15-30%, với lý do sự cạnh tranh gia tăng trong nguồn cung GPU và việc ra mắt các GPU mạnh hơn trong năm qua. Công ty cũng thay đổi cách tính phí CPU/bộ nhớ sang tính max(reservation, usage) cho mỗi container đang chạy, với mức đặt trước tối thiểu mặc định là 0.125 lõi CPU cho tất cả các Functions. Gói Team tăng lên $250/tháng với số ghế không giới hạn và $100/tháng tín dụng, với mức giá mới có hiệu lực vào tháng 9 cho người dùng Starter và Team/Enterprise bị ảnh hưởng.

5 tháng 8, 2024Thứ Hai
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

9 tháng 7, 2024Thứ Ba
  1. Modal Blog22

    Cập nhật sản phẩm Modal: Tích hợp Datadog, Chọn vùng, Giảm độ trễ hàm

    Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tích hợp Datadog cho phép chuyển tiếp nhật ký ứng dụng và nhật ký kiểm toán chỉ với một cú nhấp, cùng với tính năng chọn vùng đám mây cho các hàm nhằm đáp ứng nhu cầu về quy định, chi phí truyền dữ liệu ra ngoài hoặc vị trí cơ sở dữ liệu. Công ty cũng đã cải tổ hệ thống gọi hàm để có thông lượng cao hơn với chi phí đáng kể thấp hơn, hướng tới các khối lượng công việc sản xuất thời gian thực có độ trễ thấp, và đại tu trang chi tiết ứng dụng với tính năng thu phóng theo khoảng thời gian, trạng thái container và chế độ xem hệ thống tệp của image.

3 tháng 7, 2024Thứ Tư
  1. Modal Blog30

    Kỹ thuật gợi ý cạnh tranh: Basis tổ chức Prompt Olympics trên Modal

    Basis đã tổ chức Prompt Olympics, một cuộc thi kỹ thuật gợi ý theo phong cách lập trình cạnh tranh với giải thưởng 5.000 đô la, và chạy nó trên hạ tầng của Modal. Trong một thử thách, người tham gia viết các gợi ý để điều hướng LLaMA 3 70B, được triển khai trên Modal, tạo ra mã phải vượt qua các bài kiểm tra bên trong Modal Sandboxes. Đêm chung kết có các người chơi gợi ý một mô hình để điều khiển tác nhân trò chơi Crafter; Basis nhận thấy ngay cả các mô hình mã nguồn mở có khả năng như LLaMA 3 70B cũng khó gợi ý hiệu quả và đã chuyển sang một API mô hình độc quyền cho thành phần đó.

20 tháng 6, 2024Thứ Năm
  1. Modal Blog25

    Chạy tác vụ GPU từ Airflow với Modal

    Modal giờ đây có thể được kích hoạt trực tiếp từ một DAG của Airflow, cho phép các nhóm chạy các tác vụ AI/ML dùng GPU mà không cần thiết lập Celery hay Kubernetes executor. Hướng dẫn bao gồm việc cài đặt Modal trong môi trường Airflow, thiết lập MODAL_TOKEN_ID và MODAL_TOKEN_SECRET, và hai cách tiếp cận: gọi các Modal Function đã triển khai thông qua lookup, hoặc xây dựng một operator tùy chỉnh chạy Python trong Modal Sandboxes. Một gói Airflow provider cho Modal đang được phát triển.

6 tháng 6, 2024Thứ Năm
  1. Modal Blog38

    Modal phát hiện thợ đào tiền mã hóa bằng chữ ký syscall như thế nào

    Modal đã thêm một thành phần phân tích chương trình lúc chạy có tên seccheck vào runtime container serverless của mình, phát hiện và vô hiệu hóa các Function đào tiền mã hóa trước khi cấm những người dùng vi phạm. Vì thợ đào có thể thay đổi metadata nhưng không thể thay đổi chương trình của họ, Modal phân tích nhật ký syscall thay vì mã nguồn, tệp nhị phân hoặc image container. Hệ thống tránh được chi phí của strace dựa trên ptrace, vốn có thể làm chậm các chương trình nhiều syscall hơn 100 lần.

26 tháng 5, 2024Chủ Nhật
  1. Cursor Changelog40

    Cursor phác thảo các vấn đề lập trình AI giai đoạn tiếp theo: Dự đoán hành động, Chỉnh sửa hoàn hảo, Ngữ cảnh tối ưu

    Cursor đã công bố bài viết tiếp nối cho bài đăng "Problems" gốc của mình, liệt kê các câu hỏi nghiên cứu mà công ty coi là quan trọng nhất đối với giai đoạn tiếp theo của lập trình AI. Công ty đã mở rộng Copilot++ để dự đoán vị trí con trỏ tiếp theo, và kết hợp điều đó với dự đoán chỉnh sửa tiếp theo cho phép mô hình "chơi" chuỗi các thay đổi có độ hỗn loạn thấp—một bản demo cần 11 lần nhấn Tab so với 3 lần nhấn mọi phím khác, mà Cursor gọi là Cursor Flow. Các hướng khác bao gồm dự đoán hành động trên toàn bộ cơ sở mã, chỉnh sửa hoàn hảo thông qua nhiều tính toán suy luận hơn, mã giả ảo giác, chỉnh sửa nhiều tệp, ngữ cảnh tối ưu, ngữ cảnh đa bước, và phát hiện lỗi và gỡ lỗi.

23 tháng 5, 2024Thứ Năm
  1. Modal Blog22

    Hunch sử dụng Modal Sandboxes như thế nào để chạy mã do AI tạo ra một cách an toàn

    Hunch, một không gian vẽ kết hợp các mô hình như OpenAI GPT-4o, Anthropic Claude 3 Opus và Stable Diffusion 3, sử dụng Modal Sandboxes để thực thi mã do AI tạo ra một cách an toàn trong các container cô lập, tạm thời. Việc tích hợp chỉ cần vài dòng Python và hỗ trợ cài đặt pip, gắn ổ lưu trữ và tự động mở rộng quy mô. Hunch cho biết thiết lập này cho phép những người không biết lập trình xây dựng các quy trình làm việc để lấy dữ liệu API hoặc gửi kết quả đến Slack webhooks.

21 tháng 5, 2024Thứ Ba
  1. Modal Blog31

    Tinh chỉnh Stable Diffusion trên Heroicons để tạo Thư viện Biểu tượng Vô hạn

    Modal đã tinh chỉnh một mô hình Stable Diffusion trên thư viện Heroicons khoảng 300 SVG để tạo ra các biểu tượng đường nét đen trắng mới theo phong cách đó, bao gồm cả các biểu tượng cho các khái niệm như barack-obama và golden-retriever. Toàn bộ quy trình — tải mô hình đã huấn luyện trước, tinh chỉnh toàn phần với script train_text_to_image.py của HuggingFace Diffusers, và phục vụ giao diện web Gradio — chạy trên nền tảng GPU không máy chủ của Modal. Bài viết trình bày chi tiết việc chuẩn bị dữ liệu (chuyển đổi SVG sang PNG, nền trắng, siêu dữ liệu chú thích metadata.csv) và lưu ý rằng tinh chỉnh toàn phần hoạt động tốt nhất, mặc dù các bộ điều hợp song song kiểu LoRA cũng có thể hiệu quả với tập dữ liệu nhỏ.

20 tháng 5, 2024Thứ Hai
  1. Modal Blog25

    Vì sao Substack chuyển các pipeline AI và ML của mình sang Modal

    Substack đã chuyển việc huấn luyện và triển khai gần như toàn bộ các mô hình ML của mình—bao gồm phát hiện spam, gợi ý bản tin, phiên âm âm thanh, phân tích cảm xúc và tạo hình ảnh—từ AWS SageMaker sang Modal. Trưởng bộ phận Kỹ thuật AI & ML Mike Cohen nêu lý do là trải nghiệm lập trình rối rắm của SageMaker, khó chia sẻ mã giữa các notebook và thời gian khởi động container mất hơn 5 phút; trên Modal, một endpoint suy luận chỉ mất một giờ để triển khai. Substack hiện vận hành toàn bộ quy trình tinh chỉnh, kiểm định và triển khai trên các primitive lưu trữ của Modal.

7 tháng 5, 2024Thứ Ba
  1. Modal Blog18

    Cập nhật sản phẩm Modal: Gắn bộ chứa đám mây, Okta SSO và hơn thế nữa

    Bản cập nhật sản phẩm hàng tháng của Modal bổ sung tính năng gắn có thể ghi cho các bộ chứa AWS S3 và Cloudflare R2, một decorator @web_server để lưu trữ các máy chủ web không phải ASGI/WSGI trên một cổng chỉ định, và đăng nhập một lần Okta cho người dùng gói doanh nghiệp. Trình xem volume trong bảng điều khiển web cho phép người dùng khám phá hệ thống tệp của volume, và ứng dụng khách mới nhất bổ sung tính năng kết hợp ứng dụng đa tệp qua .include, hàng đợi phân vùng và hỗ trợ stdin cho Sandboxes.

26 tháng 4, 2024Thứ Sáu
  1. Modal Blog50

    Tinh chỉnh một mô hình embedding mã nguồn mở để đánh bại text-embedding-3-small của OpenAI

    Một mô hình embedding mã nguồn mở được tinh chỉnh có thể vượt trội hơn text-embedding-3-small của OpenAI về độ chính xác với chi phí thấp hơn chỉ bằng một vài ví dụ. Modal đã chạy một thử nghiệm trên bộ dữ liệu câu hỏi trùng lặp Quora để tìm hiểu lượng dữ liệu tinh chỉnh mà một trường hợp sử dụng hỏi đáp đơn giản cần, và mô tả cách xây dựng một mô hình như vậy trên hạ tầng serverless của mình.

26 tháng 3, 2024Thứ Ba
  1. Modal Blog22

    Ramp đã tự động hóa xử lý hóa đơn bằng LLM tinh chỉnh trên Modal như thế nào

    Ramp đã sử dụng Modal để tinh chỉnh các LLM của mình và xây dựng một mô hình chuyển văn bản thành JSON có cấu trúc cho việc quản lý hóa đơn, giảm 34% số hóa đơn cần can thiệp thủ công trên hạ tầng ước tính rẻ hơn 79% so với các nhà cung cấp LLM lớn như OpenAI. Các hàm Modal đã huấn luyện nhiều mô hình ứng viên song song, lưu trữ trọng số vào Modal volumes và phục vụ một endpoint suy luận được tham số hóa. Một kỹ sư cũng đã chuyển một script loại bỏ PII cho 25.000 hóa đơn sang Modal, song song hóa nó trên 256 worker đám mây để hoàn thành trong 20 phút với chi phí 100 USD thay vì 3 ngày chạy cục bộ.

14 tháng 3, 2024Thứ Năm
  1. Modal Blog36

    modal-http của Modal: Phục vụ các hàm web trên hạ tầng serverless

    Modal đã xây dựng modal-http, một ngăn xếp HTTP và WebSocket cho phép các hàm serverless của mình nhận yêu cầu web, với hỗ trợ WebSocket đầy đủ vừa được hoàn thiện. Khác với giới hạn 15 phút và 50 MB của AWS Lambda, các container của Modal có thể sử dụng tới 64 CPU, 336 GB bộ nhớ và 8 GPU Nvidia H100, vì vậy nhóm đã chuyển đổi HTTP thành các lệnh gọi hàm thay vì đặt các container phía sau một reverse proxy thông thường.

27 tháng 2, 2024Thứ Ba
  1. Modal Blog38

    Modal bổ sung hỗ trợ WebSocket cho ứng dụng thời gian thực

    Modal hiện đã hỗ trợ kết nối WebSocket, cho phép các hàm trên nền tảng của nó duy trì liên kết hai chiều, liên tục giữa máy khách và máy chủ thay vì kết nối HTTP theo từng yêu cầu. Mỗi kết nối WebSocket được tính là một đầu vào, vì vậy các hàm không bị giới hạn bởi CPU/GPU nên cho phép đầu vào đồng thời hoặc Modal khởi tạo một container mới cho mỗi kết nối. Modal tự động mở rộng các trình xử lý WebSocket, nhắm đến truyền phát thời gian thực, cập nhật tiến độ trên các tác vụ chạy dài và lưu trữ các framework như ComfyUI, Streamlit và Gradio.

21 tháng 2, 2024Thứ Tư
  1. Modal Blog22

    Suno đã rút ngắn 4 tháng trong lịch trình ra mắt nhờ Modal như thế nào

    Suno đã sử dụng Modal để mở rộng quy mô suy luận và tiền xử lý hàng loạt trên hàng nghìn GPU, đưa mô hình tạo nhạc của mình ra thị trường sớm bốn tháng thay vì phải thuê kỹ sư để xây dựng và duy trì cơ sở hạ tầng. Nhóm đã chạy tiền xử lý hàng loạt bằng vài đoạn script Python ngắn và không cần tệp cấu hình, sau đó mở rộng sang triển khai mô hình với các hàm được phơi bày qua HTTP và suy luận chuỗi trên nhiều mô hình và container. Tính năng tự động mở rộng của Modal lên đến hàng nghìn GPU đã xử lý các đợt tăng nhu cầu trong kỳ nghỉ mà không cần đặt trước GPU dài hạn.

15 tháng 2, 2024Thứ Năm
  1. Modal Blog22

    Cập nhật sản phẩm Modal: hỗ trợ WebSocket, lệnh tương tác và GPU H100

    Modal đã bổ sung hỗ trợ WebSocket cho các hàm của mình, cho phép lưu trữ sẵn các framework như Streamlit, cùng với các lệnh tương tác qua `modal container exec` để kiểm tra và gỡ lỗi các container đang hoạt động. GPU H100 hiện đã có sẵn trên Modal, và bản cập nhật client bổ sung các hook vòng đời `@build`, tự động commit nền cho Volumes, và mở rộng các lệnh CLI bao gồm get, put và rm.

6 tháng 2, 2024Thứ Ba
  1. Modal Blog38

    Modal cung cấp GPU NVIDIA H100 cho tất cả người dùng

    Modal đã cung cấp GPU NVIDIA H100 cho tất cả người dùng, với giá 7,65 USD mỗi giờ cho mỗi GPU. Kết quả đánh giá hiệu năng của NVIDIA cho thấy H100 mang lại tốc độ huấn luyện nhanh hơn tới 4 lần và tốc độ suy luận nhanh hơn tới 30 lần so với A100, với 80 GB DRAM trên chip và tối đa 8 GPU được liên kết qua NVLink với tốc độ 3,6 TB/s. Người dùng kích hoạt bằng cách đặt "H100" làm loại GPU trong decorator của Modal.

23 tháng 1, 2024Thứ Ba
  1. Modal Blog40

    Nhúng toàn bộ Wikipedia tiếng Anh trong chưa đầy 15 phút với Modal và Hugging Face TEI

    Máy chủ Text Embedding Inference của Modal và Hugging Face có thể nhúng toàn bộ Wikipedia tiếng Anh trong khoảng 15 phút với chi phí chỉ hơn 15 đô la, nhờ khả năng mở rộng GPU không máy chủ của Modal. Bài viết lập luận rằng các mô hình nhúng mã nguồn mở vượt trội hơn các mô hình dựa trên API như text-embedding-ada-002 của OpenAI cho RAG trong môi trường sản xuất, vì chúng có thể được tinh chỉnh trên dữ liệu người dùng và tránh được giới hạn tốc độ cũng như chi phí theo token.

10 tháng 10, 2023Thứ Ba
  1. Modal Blog58

    Modal chính thức mở rộng toàn diện, đồng thời công bố vòng gọi vốn Series A trị giá 16 triệu USD

    Modal thông báo nền tảng hàm đám mây của mình hiện đã được phát hành rộng rãi, cho phép bất kỳ ai đăng ký và chạy mã Python trên đám mây trong vòng vài phút, sau khi mở danh sách chờ vào năm 2022. Nền tảng cung cấp thực thi không máy chủ tính phí theo giây, các endpoint suy luận GPU tự động mở rộng trên A100, A10G, T4, L4 và H100, cùng các tác vụ hàng loạt quy mô lớn trên hàng nghìn container mà không cần cấu hình YAML. Modal cũng đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn đầu, cùng với Amplify Partners, đơn vị đã dẫn đầu vòng hạt giống, và dự định sử dụng số vốn này để tăng tốc lộ trình sản phẩm của mình.

  2. Modal Blog36

    Modal Labs huy động được 16 triệu USD vòng Series A và ra mắt nền tảng hạ tầng đám mây

    Modal Labs đã huy động được 16 triệu USD trong vòng Series A do Redpoint Ventures dẫn dắt, với sự tham gia của nhà đầu tư hiện hữu Amplify Partners và các nhà đầu tư mới bao gồm Lux Capital và Definition Capital, nâng tổng số vốn huy động lên 23 triệu USD. Công ty cũng chính thức ra mắt nền tảng đám mây của mình, trước đó đang ở giai đoạn beta với các khách hàng đầu tiên như Ramp, Substack và SphinxBio, và sẽ sử dụng số vốn này để đẩy nhanh phát triển sản phẩm và tuyển dụng kỹ sư tại trụ sở chính ở Thành phố New York.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.

12 tháng 6, 2023Thứ Hai
  1. Cursor Changelog38

    Arvid Lunnemark của Cursor: vì sao nên gọi prompting là prompt design

    Nhà nghiên cứu Arvid Lunnemark của Cursor lập luận rằng prompting nên được gọi là "prompt design" và so sánh với web design, vì cả hai đều theo đuổi giao tiếp rõ ràng với đầu vào động và phải điều chỉnh nội dung cho phù hợp với các "kích cỡ" khác nhau — kích cỡ màn hình đối với web, context window đối với prompt. Ông đã phát hành Priompt v0.1, một thư viện thiết kế prompt dựa trên JSX giống React đã được dùng trong Cursor, kèm một trang xem trước để render prompt dựa trên dữ liệu request thực tế.