Tới nội dung
#Hướng dẫn / thực hành
6 tháng 6, 2024Thứ Năm
  1. Modal Blog38

    Modal phát hiện thợ đào tiền mã hóa bằng chữ ký syscall như thế nào

    Modal đã thêm một thành phần phân tích chương trình lúc chạy có tên seccheck vào runtime container serverless của mình, phát hiện và vô hiệu hóa các Function đào tiền mã hóa trước khi cấm những người dùng vi phạm. Vì thợ đào có thể thay đổi metadata nhưng không thể thay đổi chương trình của họ, Modal phân tích nhật ký syscall thay vì mã nguồn, tệp nhị phân hoặc image container. Hệ thống tránh được chi phí của strace dựa trên ptrace, vốn có thể làm chậm các chương trình nhiều syscall hơn 100 lần.

23 tháng 5, 2024Thứ Năm
  1. Modal Blog22

    Hunch sử dụng Modal Sandboxes như thế nào để chạy mã do AI tạo ra một cách an toàn

    Hunch, một không gian vẽ kết hợp các mô hình như OpenAI GPT-4o, Anthropic Claude 3 Opus và Stable Diffusion 3, sử dụng Modal Sandboxes để thực thi mã do AI tạo ra một cách an toàn trong các container cô lập, tạm thời. Việc tích hợp chỉ cần vài dòng Python và hỗ trợ cài đặt pip, gắn ổ lưu trữ và tự động mở rộng quy mô. Hunch cho biết thiết lập này cho phép những người không biết lập trình xây dựng các quy trình làm việc để lấy dữ liệu API hoặc gửi kết quả đến Slack webhooks.

21 tháng 5, 2024Thứ Ba
  1. Modal Blog31

    Tinh chỉnh Stable Diffusion trên Heroicons để tạo Thư viện Biểu tượng Vô hạn

    Modal đã tinh chỉnh một mô hình Stable Diffusion trên thư viện Heroicons khoảng 300 SVG để tạo ra các biểu tượng đường nét đen trắng mới theo phong cách đó, bao gồm cả các biểu tượng cho các khái niệm như barack-obama và golden-retriever. Toàn bộ quy trình — tải mô hình đã huấn luyện trước, tinh chỉnh toàn phần với script train_text_to_image.py của HuggingFace Diffusers, và phục vụ giao diện web Gradio — chạy trên nền tảng GPU không máy chủ của Modal. Bài viết trình bày chi tiết việc chuẩn bị dữ liệu (chuyển đổi SVG sang PNG, nền trắng, siêu dữ liệu chú thích metadata.csv) và lưu ý rằng tinh chỉnh toàn phần hoạt động tốt nhất, mặc dù các bộ điều hợp song song kiểu LoRA cũng có thể hiệu quả với tập dữ liệu nhỏ.

26 tháng 4, 2024Thứ Sáu
  1. Modal Blog50

    Tinh chỉnh một mô hình embedding mã nguồn mở để đánh bại text-embedding-3-small của OpenAI

    Một mô hình embedding mã nguồn mở được tinh chỉnh có thể vượt trội hơn text-embedding-3-small của OpenAI về độ chính xác với chi phí thấp hơn chỉ bằng một vài ví dụ. Modal đã chạy một thử nghiệm trên bộ dữ liệu câu hỏi trùng lặp Quora để tìm hiểu lượng dữ liệu tinh chỉnh mà một trường hợp sử dụng hỏi đáp đơn giản cần, và mô tả cách xây dựng một mô hình như vậy trên hạ tầng serverless của mình.

26 tháng 3, 2024Thứ Ba
  1. Modal Blog22

    Ramp đã tự động hóa xử lý hóa đơn bằng LLM tinh chỉnh trên Modal như thế nào

    Ramp đã sử dụng Modal để tinh chỉnh các LLM của mình và xây dựng một mô hình chuyển văn bản thành JSON có cấu trúc cho việc quản lý hóa đơn, giảm 34% số hóa đơn cần can thiệp thủ công trên hạ tầng ước tính rẻ hơn 79% so với các nhà cung cấp LLM lớn như OpenAI. Các hàm Modal đã huấn luyện nhiều mô hình ứng viên song song, lưu trữ trọng số vào Modal volumes và phục vụ một endpoint suy luận được tham số hóa. Một kỹ sư cũng đã chuyển một script loại bỏ PII cho 25.000 hóa đơn sang Modal, song song hóa nó trên 256 worker đám mây để hoàn thành trong 20 phút với chi phí 100 USD thay vì 3 ngày chạy cục bộ.

14 tháng 3, 2024Thứ Năm
  1. Modal Blog36

    modal-http của Modal: Phục vụ các hàm web trên hạ tầng serverless

    Modal đã xây dựng modal-http, một ngăn xếp HTTP và WebSocket cho phép các hàm serverless của mình nhận yêu cầu web, với hỗ trợ WebSocket đầy đủ vừa được hoàn thiện. Khác với giới hạn 15 phút và 50 MB của AWS Lambda, các container của Modal có thể sử dụng tới 64 CPU, 336 GB bộ nhớ và 8 GPU Nvidia H100, vì vậy nhóm đã chuyển đổi HTTP thành các lệnh gọi hàm thay vì đặt các container phía sau một reverse proxy thông thường.

23 tháng 1, 2024Thứ Ba
  1. Modal Blog40

    Nhúng toàn bộ Wikipedia tiếng Anh trong chưa đầy 15 phút với Modal và Hugging Face TEI

    Máy chủ Text Embedding Inference của Modal và Hugging Face có thể nhúng toàn bộ Wikipedia tiếng Anh trong khoảng 15 phút với chi phí chỉ hơn 15 đô la, nhờ khả năng mở rộng GPU không máy chủ của Modal. Bài viết lập luận rằng các mô hình nhúng mã nguồn mở vượt trội hơn các mô hình dựa trên API như text-embedding-ada-002 của OpenAI cho RAG trong môi trường sản xuất, vì chúng có thể được tinh chỉnh trên dữ liệu người dùng và tránh được giới hạn tốc độ cũng như chi phí theo token.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.