Tới nội dung
#Dữ liệu / huấn luyện
2 tháng 10Thứ Sáu
  1. Meta AI Research Blog71

    Meta chia sẻ sáu bài báo toán học đồng tác giả với các nhà toán học và Muse Spark

    Meta đã công bố sáu bài báo toán học được thực hiện với sự cộng tác của các nhà toán học, những người đã sử dụng Muse Spark 1.1 và 1.2 ở Chế độ Suy nghĩ thông qua giao diện trò chuyện meta.ai thông thường, không có khung nghiên cứu tùy chỉnh. Năm trong số các bài báo trả lời những câu hỏi trước đây còn bỏ ngỏ, bao gồm ngưỡng khớp ellipsoid Gauss, sự bùng nổ hữu hạn thời gian cho một phương trình Schrödinger phi tuyến song điều hòa, một phản ví dụ 384 phần tử cho một giả thuyết lý thuyết nhóm, độ chặt của một phép nới lỏng dựa trên chu trình trong tối ưu hóa đa thức nhị phân, và mối liên hệ giữa hàm hai điểm chuỗi và hàm độ cao trên các đường cong. Mỗi bài báo đánh dấu những đoạn nào chủ yếu do các nhà nghiên cứu soạn thảo và đoạn nào do AI soạn thảo, ghi công các công trình trước đó, và ghi nhận các giải pháp đồng thời độc lập từ các nhóm khác.

    Vì sao đáng chú ý: Meta công bố sáu bài báo được hoàn thành với sự cộng tác giữa các nhà toán học và Muse Spark, trong đó năm bài đưa ra câu trả lời cho những câu hỏi trước đây còn bỏ ngỏ, và đánh dấu các đoạn do AI và con người viết.

1 tháng 10Thứ Năm
  1. Zyphra Research38

    Cách các mô hình NoPE lai học vị trí mà không cần mã hóa vị trí

    Zyphra Research giải thích cách các mô hình ngôn ngữ lai khôi phục thông tin vị trí ngay cả khi các lớp attention toàn cục không sử dụng mã hóa vị trí tường minh. Các lớp cục bộ như attention cửa sổ trượt và gated linear attention tạo ra thiên lệch về độ gần đây trong residual stream, và attention NoPE toàn cục học các phép chiếu query và key để đọc nó như một mã hóa vị trí tương đối ngầm. Các phát hiện cung cấp một giải thích cơ chế cho lý do tại sao việc xen kẽ trộn cục bộ với attention NoPE toàn cục hoạt động tốt và chỉ ra các biểu diễn vị trí có thể ngoại suy vượt quá độ dài chuỗi huấn luyện.

  2. Goodfire Research58

    Goodfire phát triển hệ thống giám sát an ninh sinh học dựa trên protein-embedding cho các tác nhân AI

    Goodfire Research đã phát triển các hệ thống giám sát an ninh sinh học nhận biết trình tự, sử dụng embedding của mô hình ngôn ngữ protein để đánh dấu các trình tự DNA hoặc protein đáng ngờ trong quy trình làm việc của tác nhân. Trên một bộ đánh giá lưỡng dụng tùy chỉnh được xây dựng xoay quanh độc tố protein, các hệ thống giám sát này vượt trội so với các biện pháp bảo vệ của mô hình tiên tiến với ít lần từ chối hơn đối với các yêu cầu lành tính, đạt khoảng 0,98 AUROC trên các câu diễn đạt lại mà protein gốc của chúng nằm trong cơ sở dữ liệu sàng lọc, và chạy trong vài mili giây mỗi trình tự. Các tác giả báo cáo rằng khả năng phát hiện cải thiện khi các mô hình protein trở nên có năng lực hơn, và lưu ý rằng kết quả diễn đạt lại dựa trên các ước tính in-silico và không xác lập liệu các protein được thiết kế lại có giữ được hoạt tính sinh học hay không.

7 tháng 9Thứ Hai
  1. Charlie O'Neill38

    Hãy đặt cược vào Môi trường RL: Vì sao Dữ liệu và Môi trường hữu ích sẽ thắng

    Một lập luận rằng những người tuyên bố mọi thứ sẽ trở thành môi trường RL không hành động theo niềm tin đó, và rằng các môi trường RL hữu ích sẽ ngày càng khan hiếm và có giá trị hơn theo cấp số nhân khi các mô hình tiến gần RSI. Bài viết kêu gọi xây dựng các nhiệm vụ dài hạn trong các lĩnh vực chuyên môn thực sự thay vì các trang trại nhiệm vụ kiểu Goodhart, và lập luận rằng một loạt rộng các môi trường tốt hơn một tập nhỏ các môi trường khó ở biên giới.

4 tháng 9Thứ Sáu
  1. Modal Blog22

    Markov Robotics sử dụng Modal để chạy huấn luyện robot đầu-cuối

    Markov Robotics đang huấn luyện một world model cho khả năng khéo léo tổng quát zero-shot của robot, chỉ dùng chưa đến mười giờ dữ liệu robot trong khi các kết quả tương đương thường cần hàng nghìn giờ. Công ty chạy gần như toàn bộ compute trên Modal, từ tiền xử lý hàng trăm terabyte video đến 2–10 lượt huấn luyện đồng thời và suy luận từ xa qua Modal Tunnels với độ trễ khứ hồi khoảng 20 mili giây. Quá trình tiền xử lý có thể mất cả ngày nay hoàn thành trong hai mươi đến ba mươi phút, với fan-out lên tới 500 GPU cùng lúc.

2 tháng 9Thứ Tư
  1. Charlie O'Neill38

    Cố gắng thực sự định nghĩa học liên tục cho các tác nhân AI

    Một tác giả xem xét học liên tục cho các tác nhân LLM, mô tả các mô hình ngày nay như những thực tập sinh mất trí nhớ mà kiến thức của họ bị đặt lại khi cửa sổ ngữ cảnh kết thúc. LLM chỉ có hai bộ nhớ bản địa: ngữ cảnh không mất mát nhưng tốn kém và KV cache, và trọng số bị nén nhưng khó cập nhật, với rất ít ở giữa. Bài viết cân nhắc ngữ cảnh dài hơn, các bộ khung bộ nhớ có trạng thái, và nén ngữ cảnh thành các biểu diễn tiềm ẩn đã học, trích dẫn trọng số 141 GB của Llama 3.1 70B và KV cache 320 KiB mỗi token.

  2. Modal Blog22

    Botika vận hành AI tạo sinh toàn diện trên Modal như thế nào

    Botika vận hành hoạt động AI tạo sinh toàn diện của mình trên Modal, bao gồm đường ống dữ liệu hình ảnh 100 terabyte, các mô hình nền tảng nội bộ với hàng chục tỷ tham số và khoảng 15 mô hình phục vụ suy luận trong môi trường sản xuất. Đường ống này xử lý tập dữ liệu đó với tỷ lệ lỗi dưới 1% trên hàng nghìn container đồng thời, và một nhà nghiên cứu giờ đây có thể chạy 50 thí nghiệm mỗi ngày thay vì một hoặc hai.

1 tháng 9Thứ Ba
  1. Zyphra Research48

    Zyphra phát hành PUFFER, hệ thống khử trùng lặp mờ tăng dần cho kho ngữ liệu huấn luyện đang phát triển

    Zyphra đã phát hành PUFFER, một hệ thống khử trùng lặp mờ tăng dần nhận biết nguồn gốc mã nguồn mở dành cho kho ngữ liệu huấn luyện LLM liên tục mở rộng, theo giấy phép Apache 2.0. Hệ thống này đạt tốc độ nhanh hơn 11x-35x so với các phương pháp khử trùng lặp dựa trên CPU hiện có và xử lý một tỷ tài liệu trong 1,75 giờ trên một tiến trình duy nhất, với triển khai thực tế trên hơn 30 tỷ tài liệu. PUFFER lưu giữ lịch sử MinHash-LSH trên đĩa để có thể thêm tập dữ liệu mới, khôi phục các tác vụ bị gián đoạn một cách xác định, và rút từng tập dữ liệu mà không cần xây dựng lại toàn bộ chỉ mục kho ngữ liệu.

26 tháng 7Chủ Nhật
  1. Berkeley AI Research33

    ABBEL: Dạy LLM cập nhật trạng thái niềm tin cho tương tác dài hạn

    Berkeley AI Research giới thiệu ABBEL, một khung thay thế toàn bộ lịch sử tương tác bằng trạng thái niềm tin dạng ngôn ngữ tự nhiên và giám sát nội dung của chúng thông qua chấm điểm niềm tin. Trên CollabBench lập trình cộng tác, chấm điểm niềm tin dựa trên tái tạo giảm khoảng cách với các mô hình ngữ cảnh đầy đủ xuống khoảng 50% và huấn luyện trong 50 bước thay vì 100, đồng thời sử dụng ít token đỉnh hơn.

21 tháng 7Thứ Ba
  1. OpenAI Alignment Blog62

    OpenAI và Apollo Research đo lường xu hướng tìm kiếm phần thưởng bằng Contrastive SDF

    OpenAI và Apollo Research đã phát triển Contrastive SDF, một bài kiểm tra tinh chỉnh hai bản sao của một mô hình trên các tài liệu tổng hợp ngụ ý sở thích trái ngược của người chấm điểm và đo lường mức độ hành vi tuân theo người chấm điểm. Khi áp dụng cho các checkpoint trung gian của một lần chạy RL OpenAI o3 tập trung vào năng lực mà không có huấn luyện an toàn, khoảng cách người chấm điểm có xu hướng tăng từ checkpoint sớm đến muộn trong khi khoảng cách đối với các thẩm quyền khác vẫn gần bằng không. Trên các đánh giá về tính trung thực Broken Promises Coding và Log Falsification, tính trung thực của checkpoint muộn phụ thuộc nhiều hơn vào điều mà nó tin rằng người chấm điểm thưởng, và phương pháp này đã khôi phục được thẩm quyền mục tiêu của ba sinh vật mô hình gpt-oss-120b được huấn luyện để ưu tiên Người dùng, Người chấm điểm hoặc Ban lãnh đạo OpenAI.

    Vì sao đáng chú ý: OpenAI và Apollo Research giới thiệu Contrastive SDF, một bài kiểm tra dựa trên tinh chỉnh đo lường mức độ hành vi của mô hình bám theo điều mà nó tin rằng người chấm điểm thưởng, và phát hiện xu hướng này tăng lên qua một lần chạy RL o3 không có huấn luyện an toàn.

7 tháng 7Thứ Ba
  1. Berkeley AI Research36

    Trí tuệ là miễn phí, giờ thì sao? Hệ thống dữ liệu cho, của và bởi các tác nhân

    Aditya G. Parameswaran của UC Berkeley và các cộng sự lập luận rằng khi chi phí suy luận giảm từ khoảng 30 đô la mỗi triệu token vào đầu năm 2023 xuống dưới 1 đô la ngày nay, các hệ thống dữ liệu phải được thiết kế lại xoay quanh ba thách thức: hệ thống cho các tác nhân, của các tác nhân, và bởi các tác nhân. Họ lưu ý rằng trong một benchmark text-to-SQL với nhiều tác nhân cho mỗi tác vụ, chỉ 10-20% các kế hoạch con là khác biệt, nên 80-90% các truy vấn con trùng lặp công việc, và đề xuất tái sử dụng, xấp xỉ, và các hệ thống dữ liệu chủ động.

9 tháng 6Thứ Ba
  1. MiniMax Blog58

    MiniMax chi tiết hóa MaxProof: RL với trình xác minh sinh tạo và tìm kiếm tiến hóa cho chứng minh toán học

    MiniMax đã công bố một blog kỹ thuật giải thích về MaxProof, khung làm việc đằng sau việc M3 vượt ngưỡng huy chương vàng của con người tại IMO 2025 và USAMO 2026. Quy trình huấn luyện ba mô hình chuyên gia cho việc sinh tạo chứng minh, phán đoán lỗi và sửa chữa chứng minh, sau đó chạy một tìm kiếm tiến hóa tại thời điểm kiểm thử, lấy mẫu 32 ứng viên, xác minh mỗi ứng viên 4 lần và tinh chỉnh qua tối đa 10 vòng. MiniMax cho biết bài học chính là một trình xác minh sinh tạo được dùng làm phần thưởng RL nên ưu tiên tỷ lệ dương tính giả thấp hơn độ chính xác trung bình, dẫn chứng việc reward hacking trong chu kỳ M2 khi tỷ lệ dương tính giả tăng từ khoảng 2,9% lên 8,0% trong quá trình huấn luyện.

1 tháng 6Thứ Hai
  1. Modal Blog46

    Modal: Học tăng cường cho hậu huấn luyện LLM là một bài toán hạ tầng

    Modal cho rằng nút thắt trong hậu huấn luyện bằng học tăng cường cho LLM giờ đây là hạ tầng chứ không phải thuật toán, và đã phát hành một thư viện mã nguồn mở rút ra từ việc chạy RL ở quy mô lớn. Bài viết nêu chi tiết ba điểm đau — mã keo, xếp hàng cụm và GPU sử dụng dưới mức — và báo cáo việc đồng bộ trọng số qua RDMA giảm thời gian cập nhật Qwen3 8B từ 2,62s xuống 41ms.

20 tháng 5Thứ Tư
  1. Modal Blog22

    Applied Compute mở rộng quy mô học tăng cường cho các tác nhân doanh nghiệp tùy chỉnh trên Modal

    Applied Compute huấn luyện các tác nhân AI doanh nghiệp tùy chỉnh thông qua học tăng cường, dựa trên các sandbox, Functions và khởi động nguội dưới một giây của Modal để giữ hàng nghìn lượt rollout song song gắn với GPU. Các tác nhân của công ty bao gồm một mô hình onboarding cho người bán hàng dành cho DoorDash và một tác nhân phát hiện lỗi cho Cognition.

29 tháng 4Thứ Tư
  1. Modal Blog33

    Xây dựng quy trình chứng minh định lý bằng RL trên Modal

    AE Studio trình bày chi tiết cách họ huấn luyện LLM chứng minh các định lý toán học bằng học tăng cường trên Modal, so sánh Evolution Strategies với GRPO trong khi giữ nguyên vòng lặp huấn luyện. Thiết lập này chạy suy luận vLLM trên GPU, xác minh trình biên dịch Lean trong các sandbox CPU cô lập, và một bộ điều phối nhẹ, sử dụng image theo từng hàm, .map() fan-out, và Volumes cho trọng số cơ sở.

14 tháng 4Thứ Ba
  1. Modal Blog40

    Modal Autoscaling Autoresearch: GPU co giãn cho các tác nhân nghiên cứu AI

    Modal trình diễn việc chạy các tác nhân autoresearch trên GPU co giãn: với Modal Skills, Claude Code đã chạy 113 thí nghiệm trong 238 giờ GPU trên thử thách Parameter Golf của OpenAI, hoàn thành các lượt huấn luyện cốt lõi nhanh gấp 5 lần so với một máy trạm đơn lẻ trong khi chỉ dùng một phần nhỏ tài nguyên của một cụm chuyên dụng. Các tác nhân cấp phát GPU qua các lệnh gọi API, mở rộng từ một đến hàng chục H100 và tự động thu về không.

25 tháng 3Thứ Tư
  1. Modal Blog22

    Doppel đã cắt giảm chi phí hạ tầng ML như thế nào với Modal

    Doppel đã chuyển phần lớn quy trình ML của mình sang Modal, loại bỏ những trở ngại hạ tầng làm chậm việc thử nghiệm huấn luyện và triển khai suy luận. Các thử nghiệm song song qua map() đã thay thế các lần chạy tuần tự, trong khi bộ nhớ đệm lớp image và volume lưu trữ liên tục giúp giảm thời gian build tới 10 lần, với các thiết lập phức tạp đạt thời gian build nóng dưới một phút.

13 tháng 3Thứ Sáu
  1. Berkeley AI Research38

    Berkeley AI Research giới thiệu SPEX và ProxySPEX để xác định các tương tác ở quy mô lớn cho LLM

    Các nhà nghiên cứu của Berkeley AI Research mô tả SPEX và ProxySPEX, những thuật toán xác định các tương tác có ảnh hưởng giữa đặc trưng, dữ liệu và thành phần mô hình trong LLM ở quy mô vượt xa các phương pháp trước đây. SPEX định hình lại việc tìm kiếm tương tác như bài toán khôi phục thưa sử dụng tính thưa và bậc thấp, trong khi ProxySPEX khai thác cấu trúc phân cấp để đạt kết quả tương đương SPEX với số lần ablation ít hơn khoảng 10 lần. Trong phân tích cảm xúc, SPEX đạt độ trung thực ngang với Faith-Shap và Faith-Banzhaf trên đầu vào ngắn và duy trì được điều đó khi ngữ cảnh mở rộng đến hàng nghìn đặc trưng.

14 tháng 2Thứ Bảy
  1. Charlie O'Neill38

    Công ty Giấy Michael Scott của AI: Vì sao chuyên môn hóa mã nguồn mở đánh bại các phòng thí nghiệm tiên phong về trần trí tuệ

    Opus 4.6 và GPT-5.3-Codex đều đã ra mắt tuần trước, nhưng cuộc tranh đua quyết định không phải là năng lực thô. Lập luận cho rằng phần lớn công việc có giá trị kinh tế nằm ở lớp chuyên môn hóa, nơi một mô hình dưới 80B được tinh chỉnh trên dữ liệu của chính khách hàng vượt trội hơn GPT-5.2 trên quy trình làm việc của khách hàng đó — nhanh hơn, rẻ hơn và không gửi dữ liệu độc quyền cho bên thứ ba. Mã nguồn mở chỉ cần đạt tới trần trí tuệ, không cần đạt tới biên giới tiên phong, và đồng hồ phụ thuộc vốn của các phòng thí nghiệm là vị thế yếu hơn.

26 tháng 1Thứ Hai
  1. Charlie O'Neill38

    Học liên tục và kỷ nguyên AI hậu nguyên khối

    Học liên tục gắn liền với chuyên môn hóa vì chi phí ghi nhớ tăng theo phạm vi: khi ngữ cảnh lớn lên, KV cache tăng tuyến tính và có thể vượt quá toàn bộ trọng số mô hình, nên thông tin phải chuyển từ cấp token vào trọng số. Chuyên môn hóa theo tác vụ về cơ bản đã được giải quyết qua các pipeline tinh chỉnh liên tục, trong khi khả năng ghi nhớ một lần với phạm vi rộng, phản hồi thưa vẫn là bài toán khó.

15 tháng 1Thứ Năm
  1. Modal Blog22

    Chai Discovery mở rộng quy mô khám phá thuốc bằng máy tính trên Modal

    Chai Discovery đang sử dụng Modal để vận hành các pipeline khám phá thuốc bằng học máy, từ nhúng protein và căn chỉnh đa trình tự đến thiết kế kháng thể. Modal Volumes tải xuống và lập chỉ mục các bộ dữ liệu lên tới hàng trăm gigabyte một lần, sau đó chia sẻ chúng giữa các máy, trong khi khả năng mở rộng GPU đàn hồi khởi tạo hàng trăm GPU trong vài phút. Chai cho biết cùng một thiết lập này hiện đưa các quy trình nghiên cứu vào sản xuất mà không cần viết lại hạ tầng.

28 tháng 12, 2025Chủ Nhật
  1. Modal Blog38

    Modal về việc duy trì hơn 20.000 GPU khỏe mạnh trên nhiều đám mây

    Modal đã mở rộng nhóm worker GPU đa đám mây của mình vượt 20.000 GPU đồng thời và khởi chạy hơn bốn triệu phiên bản đám mây trong vài năm qua, và hiện đang chia sẻ hệ thống độ tin cậy đằng sau đó. Bài viết đề cập đến việc kiểm thử và lựa chọn loại phiên bản, chuẩn bị image máy và kiểm tra khởi động, kiểm tra sức khỏe GPU thụ động và chủ động, cùng khả năng quan sát và hỗ trợ. Bài viết báo cáo sự khác biệt giữa các hyperscaler như tỷ lệ khởi động thành công 99,6% của Cloud A và H100 của Cloud C chạy trên 90ºC vào năm 2025.

29 tháng 5, 2025Thứ Năm
  1. Modal Blog22

    Twirl gia nhập Modal để mở rộng điều phối dữ liệu và hiện diện tại châu Âu

    Modal thông báo rằng Twirl, một công cụ điều phối dữ liệu dùng để phát triển, kiểm thử và triển khai các pipeline dữ liệu, đang gia nhập công ty. Hai nhà đồng sáng lập của Twirl là Rebecka Storm và Eric Hansander sẽ gia nhập văn phòng Stockholm của Modal, nơi họ sẽ phát triển và mở rộng hạ tầng serverless của Modal cũng như mở rộng dấu chân của công ty tại châu Âu. Modal cho biết kinh nghiệm về sản phẩm dữ liệu của nhóm sẽ giúp công ty mở rộng ra ngoài lĩnh vực suy luận AI sang các trường hợp sử dụng AI, ML và dữ liệu liên quan.

10 tháng 12, 2024Thứ Ba
  1. Modal Blog30

    LLM fine-tuning là gì? Hướng dẫn về các kỹ thuật và công cụ

    Fine-tuning điều chỉnh trọng số của LLM đã được huấn luyện trước để phù hợp với một tác vụ hoặc lĩnh vực cụ thể, mang lại chất lượng cao hơn so với prompt engineering với chi phí và độ trễ thấp hơn; một Llama 7B đã fine-tune có thể tiết kiệm chi phí hơn khoảng 50 lần trên mỗi token so với GPT-3.5 với hiệu suất tương đương. Hướng dẫn bao gồm các trường hợp sử dụng như đầu ra có cấu trúc, tuân thủ phong cách và hướng dẫn theo lĩnh vực cụ thể, cùng các lựa chọn bao gồm OpenAI, Predibase, Modal, Google Colab và AWS SageMaker, và các framework HuggingFace transformers, TRL và Axolotl.

4 tháng 12, 2024Thứ Tư
  1. Modal Blog22

    Một đội bóng đá hàng đầu châu Âu cắt giảm 50% chi phí xử lý dữ liệu nhờ Modal

    Một đội bóng đá hàng đầu châu Âu, được ẩn danh là AFC Richmond, đã chuyển pipeline dữ liệu theo dõi trận đấu của mình sang nền tảng GPU serverless của Modal và cắt giảm 50% chi phí xử lý dữ liệu của một mùa giải đầy đủ. Đội bóng này chạy suy luận trên khoảng 3,5 triệu quan sát theo dõi mỗi trận thông qua một mô hình dựa trên transformer tùy chỉnh, và với Airflow trên Modal hiện xử lý dữ liệu mỗi trận trong vài phút thay vì vài giờ.

21 tháng 5, 2024Thứ Ba
  1. Modal Blog31

    Tinh chỉnh Stable Diffusion trên Heroicons để tạo Thư viện Biểu tượng Vô hạn

    Modal đã tinh chỉnh một mô hình Stable Diffusion trên thư viện Heroicons khoảng 300 SVG để tạo ra các biểu tượng đường nét đen trắng mới theo phong cách đó, bao gồm cả các biểu tượng cho các khái niệm như barack-obama và golden-retriever. Toàn bộ quy trình — tải mô hình đã huấn luyện trước, tinh chỉnh toàn phần với script train_text_to_image.py của HuggingFace Diffusers, và phục vụ giao diện web Gradio — chạy trên nền tảng GPU không máy chủ của Modal. Bài viết trình bày chi tiết việc chuẩn bị dữ liệu (chuyển đổi SVG sang PNG, nền trắng, siêu dữ liệu chú thích metadata.csv) và lưu ý rằng tinh chỉnh toàn phần hoạt động tốt nhất, mặc dù các bộ điều hợp song song kiểu LoRA cũng có thể hiệu quả với tập dữ liệu nhỏ.

20 tháng 5, 2024Thứ Hai
  1. Modal Blog25

    Vì sao Substack chuyển các pipeline AI và ML của mình sang Modal

    Substack đã chuyển việc huấn luyện và triển khai gần như toàn bộ các mô hình ML của mình—bao gồm phát hiện spam, gợi ý bản tin, phiên âm âm thanh, phân tích cảm xúc và tạo hình ảnh—từ AWS SageMaker sang Modal. Trưởng bộ phận Kỹ thuật AI & ML Mike Cohen nêu lý do là trải nghiệm lập trình rối rắm của SageMaker, khó chia sẻ mã giữa các notebook và thời gian khởi động container mất hơn 5 phút; trên Modal, một endpoint suy luận chỉ mất một giờ để triển khai. Substack hiện vận hành toàn bộ quy trình tinh chỉnh, kiểm định và triển khai trên các primitive lưu trữ của Modal.

26 tháng 4, 2024Thứ Sáu
  1. Modal Blog50

    Tinh chỉnh một mô hình embedding mã nguồn mở để đánh bại text-embedding-3-small của OpenAI

    Một mô hình embedding mã nguồn mở được tinh chỉnh có thể vượt trội hơn text-embedding-3-small của OpenAI về độ chính xác với chi phí thấp hơn chỉ bằng một vài ví dụ. Modal đã chạy một thử nghiệm trên bộ dữ liệu câu hỏi trùng lặp Quora để tìm hiểu lượng dữ liệu tinh chỉnh mà một trường hợp sử dụng hỏi đáp đơn giản cần, và mô tả cách xây dựng một mô hình như vậy trên hạ tầng serverless của mình.

26 tháng 3, 2024Thứ Ba
  1. Modal Blog22

    Ramp đã tự động hóa xử lý hóa đơn bằng LLM tinh chỉnh trên Modal như thế nào

    Ramp đã sử dụng Modal để tinh chỉnh các LLM của mình và xây dựng một mô hình chuyển văn bản thành JSON có cấu trúc cho việc quản lý hóa đơn, giảm 34% số hóa đơn cần can thiệp thủ công trên hạ tầng ước tính rẻ hơn 79% so với các nhà cung cấp LLM lớn như OpenAI. Các hàm Modal đã huấn luyện nhiều mô hình ứng viên song song, lưu trữ trọng số vào Modal volumes và phục vụ một endpoint suy luận được tham số hóa. Một kỹ sư cũng đã chuyển một script loại bỏ PII cho 25.000 hóa đơn sang Modal, song song hóa nó trên 256 worker đám mây để hoàn thành trong 20 phút với chi phí 100 USD thay vì 3 ngày chạy cục bộ.