Tới nội dung
Chỉ Chính chủ#Hướng dẫn / thực hành
1 tháng 4, 2025Thứ Ba
  1. Vapi Blog20

    Mở rộng quy mô tiếp nhận khách hàng với Vapi Voice AI Agents: Nghiên cứu điển hình của một nhà tư vấn

    Nhà tư vấn Christian Ulstrup của GSD at Work đã sử dụng Vapi voice AI agents để thay thế các cuộc gọi khám phá theo lịch hẹn bằng một hệ thống tiếp nhận bằng giọng nói bất đồng bộ cho các hội thảo AI Action Sessions của mình. Người tham gia gọi đến một đường dây điện thoại Vapi chuyên dụng vào thời điểm thuận tiện của họ, và bản ghi chép cùng các bản tóm tắt do AI tạo ra sẽ được chuyển vào Slack qua Zapier và được ghi lại trong HubSpot. Đối với một khách hàng gần đây, 20 người tham gia trên toàn cầu đã đóng góp hơn 3 giờ khám phá, và buổi hội thảo đã đạt được đánh giá 5 trên 5.

24 tháng 2, 2025Thứ Hai
  1. Modal Blog40

    Hướng dẫn tổng quan về mức sử dụng GPU: cấp phát, kernel và mức sử dụng Model FLOP/s

    Modal đã công bố một hướng dẫn phân biệt ba thứ thường được gọi là "mức sử dụng GPU": Mức sử dụng cấp phát GPU (số giây GPU chạy mã ứng dụng trên số giây GPU đã trả tiền), Mức sử dụng kernel GPU (tỷ lệ thời gian chạy mã trên GPU), và Mức sử dụng Model FLOP/s (phần băng thông số học lý thuyết được sử dụng). Hướng dẫn tập trung vào khối lượng công việc suy luận mạng nơ-ron, mà Modal gọi là trung tâm doanh thu thay vì trung tâm chi phí.

10 tháng 12, 2024Thứ Ba
  1. Modal Blog30

    LLM fine-tuning là gì? Hướng dẫn về các kỹ thuật và công cụ

    Fine-tuning điều chỉnh trọng số của LLM đã được huấn luyện trước để phù hợp với một tác vụ hoặc lĩnh vực cụ thể, mang lại chất lượng cao hơn so với prompt engineering với chi phí và độ trễ thấp hơn; một Llama 7B đã fine-tune có thể tiết kiệm chi phí hơn khoảng 50 lần trên mỗi token so với GPT-3.5 với hiệu suất tương đương. Hướng dẫn bao gồm các trường hợp sử dụng như đầu ra có cấu trúc, tuân thủ phong cách và hướng dẫn theo lĩnh vực cụ thể, cùng các lựa chọn bao gồm OpenAI, Predibase, Modal, Google Colab và AWS SageMaker, và các framework HuggingFace transformers, TRL và Axolotl.

20 tháng 11, 2024Thứ Tư
  1. Modal Blog25

    OpenArt mở rộng quy mô nền tảng nghệ thuật AI tạo sinh trên hàng trăm GPU với Modal như thế nào

    OpenArt đã triển khai các quy trình ComfyUI độc quyền của mình trên Modal, rút ngắn thời gian triển khai từ hàng giờ trên AWS và GCP xuống còn vài phút và tự động mở rộng lên hàng trăm container GPU. Modal hiện vận hành hơn 100 quy trình trên nền tảng, phục vụ hơn 3 triệu người dùng hoạt động hàng tháng.

24 tháng 9, 2024Thứ Ba
  1. Modal Blog22

    Tìm kiếm kết hợp trên nhúng vệ tinh California với Modal, MongoDB và Clay

    Một ứng dụng demo thực hiện tìm kiếm kết hợp trên toàn bang California bằng dấu thời gian, dữ liệu định vị địa lý và nhúng ảnh vệ tinh từ mô hình nền tảng Clay v1. Modal điều phối các truy vấn API Sentinel hàng ngày, lưu trữ MongoDB Atlas và suy luận nhúng trên GPU A10, với giao diện frontend Alpine JS nhỏ được phục vụ qua FastAPI.

18 tháng 9, 2024Thứ Tư
  1. Modal Blog20

    Contextual AI đã tự động hóa CI với GPU Modal như thế nào

    Contextual AI đã tự động hóa và song song hóa quy trình tích hợp liên tục (CI) dựa trên GPU của mình trên Modal, thay thế các lần chạy thử thủ công trên các node GPU nội bộ. Một GitHub Action kích hoạt một Modal Function với nhiều GPU được gắn vào, và các bản dựng image được lưu trong bộ nhớ đệm cho phép các bài kiểm thử bắt đầu trong vòng 30 giây kể từ khi gửi job. Modal tính phí theo mức sử dụng, vì vậy 99% những gì được tính phí là thời gian chạy thử thực tế.

5 tháng 8, 2024Thứ Hai
  1. Modal Blog62

    Modal tái lập Large Language Monkeys: LLaMA 3.1 8B sánh ngang GPT-4o trên HumanEval nhờ tìm kiếm

    Charles Frye của Modal đã tái lập tuyên bố cốt lõi của bài báo Large Language Monkeys trên một bộ dữ liệu mới, cho thấy việc lấy mẫu lặp lại nâng LLaMA 3.1 8B từ 66,4% pass@1 lên 90,5% pass@100 và 95,1% pass@1000 trên HumanEval, so với 90,2% pass@1 được báo cáo của GPT-4o. Các lần chạy sử dụng vLLM trên GPU không máy chủ của Modal và Modal Sandboxes để thực thi kiểm thử song song, tốn kém dưới 50 USD, và cho thấy khả năng mở rộng mượt mà, có thể dự đoán được qua ba bậc độ lớn.

    Vì sao đáng chú ý: Một bản tái lập thực hành cho thấy cách lấy mẫu lặp lại với một mô hình mở nhỏ có thể tiến gần GPT-4o trên HumanEval, mang lại một công thức cụ thể, chi phí thấp để đánh đổi tính toán lấy độ chính xác.

20 tháng 6, 2024Thứ Năm
  1. Modal Blog25

    Chạy tác vụ GPU từ Airflow với Modal

    Modal giờ đây có thể được kích hoạt trực tiếp từ một DAG của Airflow, cho phép các nhóm chạy các tác vụ AI/ML dùng GPU mà không cần thiết lập Celery hay Kubernetes executor. Hướng dẫn bao gồm việc cài đặt Modal trong môi trường Airflow, thiết lập MODAL_TOKEN_ID và MODAL_TOKEN_SECRET, và hai cách tiếp cận: gọi các Modal Function đã triển khai thông qua lookup, hoặc xây dựng một operator tùy chỉnh chạy Python trong Modal Sandboxes. Một gói Airflow provider cho Modal đang được phát triển.

6 tháng 6, 2024Thứ Năm
  1. Modal Blog38

    Modal phát hiện thợ đào tiền mã hóa bằng chữ ký syscall như thế nào

    Modal đã thêm một thành phần phân tích chương trình lúc chạy có tên seccheck vào runtime container serverless của mình, phát hiện và vô hiệu hóa các Function đào tiền mã hóa trước khi cấm những người dùng vi phạm. Vì thợ đào có thể thay đổi metadata nhưng không thể thay đổi chương trình của họ, Modal phân tích nhật ký syscall thay vì mã nguồn, tệp nhị phân hoặc image container. Hệ thống tránh được chi phí của strace dựa trên ptrace, vốn có thể làm chậm các chương trình nhiều syscall hơn 100 lần.

23 tháng 5, 2024Thứ Năm
  1. Modal Blog22

    Hunch sử dụng Modal Sandboxes như thế nào để chạy mã do AI tạo ra một cách an toàn

    Hunch, một không gian vẽ kết hợp các mô hình như OpenAI GPT-4o, Anthropic Claude 3 Opus và Stable Diffusion 3, sử dụng Modal Sandboxes để thực thi mã do AI tạo ra một cách an toàn trong các container cô lập, tạm thời. Việc tích hợp chỉ cần vài dòng Python và hỗ trợ cài đặt pip, gắn ổ lưu trữ và tự động mở rộng quy mô. Hunch cho biết thiết lập này cho phép những người không biết lập trình xây dựng các quy trình làm việc để lấy dữ liệu API hoặc gửi kết quả đến Slack webhooks.

21 tháng 5, 2024Thứ Ba
  1. Modal Blog31

    Tinh chỉnh Stable Diffusion trên Heroicons để tạo Thư viện Biểu tượng Vô hạn

    Modal đã tinh chỉnh một mô hình Stable Diffusion trên thư viện Heroicons khoảng 300 SVG để tạo ra các biểu tượng đường nét đen trắng mới theo phong cách đó, bao gồm cả các biểu tượng cho các khái niệm như barack-obama và golden-retriever. Toàn bộ quy trình — tải mô hình đã huấn luyện trước, tinh chỉnh toàn phần với script train_text_to_image.py của HuggingFace Diffusers, và phục vụ giao diện web Gradio — chạy trên nền tảng GPU không máy chủ của Modal. Bài viết trình bày chi tiết việc chuẩn bị dữ liệu (chuyển đổi SVG sang PNG, nền trắng, siêu dữ liệu chú thích metadata.csv) và lưu ý rằng tinh chỉnh toàn phần hoạt động tốt nhất, mặc dù các bộ điều hợp song song kiểu LoRA cũng có thể hiệu quả với tập dữ liệu nhỏ.

26 tháng 4, 2024Thứ Sáu
  1. Modal Blog50

    Tinh chỉnh một mô hình embedding mã nguồn mở để đánh bại text-embedding-3-small của OpenAI

    Một mô hình embedding mã nguồn mở được tinh chỉnh có thể vượt trội hơn text-embedding-3-small của OpenAI về độ chính xác với chi phí thấp hơn chỉ bằng một vài ví dụ. Modal đã chạy một thử nghiệm trên bộ dữ liệu câu hỏi trùng lặp Quora để tìm hiểu lượng dữ liệu tinh chỉnh mà một trường hợp sử dụng hỏi đáp đơn giản cần, và mô tả cách xây dựng một mô hình như vậy trên hạ tầng serverless của mình.

26 tháng 3, 2024Thứ Ba
  1. Modal Blog22

    Ramp đã tự động hóa xử lý hóa đơn bằng LLM tinh chỉnh trên Modal như thế nào

    Ramp đã sử dụng Modal để tinh chỉnh các LLM của mình và xây dựng một mô hình chuyển văn bản thành JSON có cấu trúc cho việc quản lý hóa đơn, giảm 34% số hóa đơn cần can thiệp thủ công trên hạ tầng ước tính rẻ hơn 79% so với các nhà cung cấp LLM lớn như OpenAI. Các hàm Modal đã huấn luyện nhiều mô hình ứng viên song song, lưu trữ trọng số vào Modal volumes và phục vụ một endpoint suy luận được tham số hóa. Một kỹ sư cũng đã chuyển một script loại bỏ PII cho 25.000 hóa đơn sang Modal, song song hóa nó trên 256 worker đám mây để hoàn thành trong 20 phút với chi phí 100 USD thay vì 3 ngày chạy cục bộ.

14 tháng 3, 2024Thứ Năm
  1. Modal Blog36

    modal-http của Modal: Phục vụ các hàm web trên hạ tầng serverless

    Modal đã xây dựng modal-http, một ngăn xếp HTTP và WebSocket cho phép các hàm serverless của mình nhận yêu cầu web, với hỗ trợ WebSocket đầy đủ vừa được hoàn thiện. Khác với giới hạn 15 phút và 50 MB của AWS Lambda, các container của Modal có thể sử dụng tới 64 CPU, 336 GB bộ nhớ và 8 GPU Nvidia H100, vì vậy nhóm đã chuyển đổi HTTP thành các lệnh gọi hàm thay vì đặt các container phía sau một reverse proxy thông thường.

23 tháng 1, 2024Thứ Ba
  1. Modal Blog40

    Nhúng toàn bộ Wikipedia tiếng Anh trong chưa đầy 15 phút với Modal và Hugging Face TEI

    Máy chủ Text Embedding Inference của Modal và Hugging Face có thể nhúng toàn bộ Wikipedia tiếng Anh trong khoảng 15 phút với chi phí chỉ hơn 15 đô la, nhờ khả năng mở rộng GPU không máy chủ của Modal. Bài viết lập luận rằng các mô hình nhúng mã nguồn mở vượt trội hơn các mô hình dựa trên API như text-embedding-ada-002 của OpenAI cho RAG trong môi trường sản xuất, vì chúng có thể được tinh chỉnh trên dữ liệu người dùng và tránh được giới hạn tốc độ cũng như chi phí theo token.

21 tháng 7, 2023Thứ Sáu
  1. Cursor Changelog62

    Cursor phân tích chi phí và độ trễ suy luận của Llama-2-70B so với GPT-3.5

    Cursor đã đo suy luận Llama-2-70B trên 2 GPU A100 80 GB và phát hiện nó rẻ hơn GPT-3.5 hơn 3 lần đối với token prompt nhưng đắt hơn nhiều đối với token được sinh ra ở kích thước batch nhỏ. Chi phí xử lý prompt khoảng $0,00042 mỗi 1K token so với $0,0015 của GPT-3.5, trong khi sinh đạt $0,066 mỗi 1K token ở batch size 1 và chỉ tiến gần mức giá GPT-3.5 ở batch lớn, khiến thời gian đến token đầu tiên tăng lên vài giây. Cursor khuyến nghị dùng mô hình mã nguồn mở cho các tác vụ nặng về prompt như phân loại và xếp hạng lại, và dùng API đóng cho các khối lượng công việc nặng về sinh.

    Vì sao đáng chú ý: Dữ liệu chi phí và độ trễ được Cursor đo cho thấy khi nào tự vận hành Llama-2-70B tốt hơn GPT-3.5 và khi nào không, mang lại một khung có thể tái sử dụng cho các quyết định phục vụ mô hình mã nguồn mở.