Tới nội dung
Sự việc nóngĐang diễn ra

AWS khuyến nghị chỉ chuyển các tác vụ mở cho LLM để cắt giảm chi phí AI tạo sinh

1 bài viết1 nguồn đưa tinCập nhật 3 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Blog Machine Learning của AWS khuyến nghị các nhóm giữ việc kiểm tra đầu vào, định dạng và định tuyến trong mã tất định và chỉ gửi các tác vụ mở cho các mô hình ngôn ngữ lớn, cho rằng điều này giúp giảm chi phí, độ trễ và sự biến thiên trong đầu ra. Bài viết đưa ra một lưu đồ ba câu hỏi — liệu một bước có thể kiểm tra bằng quy tắc, liệu đó có phải là quy tắc mà mô hình có thể viết, hay liệu đó là lựa chọn từ danh sách cố định — và ánh xạ mỗi loại bước tới AWS Lambda, Step Functions hoặc một mô hình Amazon Bedrock có kích thước phù hợp. Đây là các khuyến nghị của chính bài viết; bài viết không báo cáo mức tiết kiệm đo được từ việc áp dụng chúng.

Tạo từ các bài viết · cập nhật 3 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. AWS Machine Learning Blog
    Cắt giảm chi phí AI tạo sinh: Dùng mã cho quy tắc, dùng mô hình cho phán đoán

    AWS khuyên các nhóm chỉ chuyển các tác vụ mở cho LLM, giữ việc kiểm tra đầu vào, định dạng và định tuyến trong mã tất định để cắt giảm chi phí, độ trễ và sự biến thiên đầu ra. Bài viết đưa ra lưu đồ ba câu hỏi—có thể kiểm tra bằng quy tắc, quy tắc mô hình có thể viết, hay lựa chọn từ danh sách cố định—ánh xạ từng bước sang AWS Lambda, Step Functions hoặc một mô hình Amazon Bedrock được điều chỉnh kích thước phù hợp.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
9
Đỉnh, trong khoảng so sánh được
1018 tháng 11 06:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.