Tới nội dung
AWS Machine Learning Blog· Alan Yao·· 22 giờ trướcĐiểm AI34

Airbnb sử dụng chi phí trên mỗi tác vụ như thế nào để vận hành các tác nhân lập trình trên Amazon Bedrock

How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

Tóm tắt bằng AI

Airbnb vận hành công cụ tác nhân lập trình nội bộ AirChat của mình thông qua một cổng LLM trên Amazon Bedrock, sử dụng chi phí trên mỗi tác vụ—chi phí theo giá niêm yết của tất cả các token mà một tác nhân tiêu tốn để hoàn thành một tác vụ—để chọn mô hình mặc định và giới hạn nỗ lực. Sau khi tám mô hình mới được phát hành trong khoảng năm tuần, đến giữa tháng 10, khoảng hai phần ba yêu cầu tác nhân lập trình của các kỹ sư đã chuyển sang các mô hình mới đó. Airbnb kết hợp đánh giá trước khi triển khai với các tín hiệu thời gian chạy từ CloudWatch về độ trễ, điều tiết và mức tiêu thụ token để xem xét lại các lựa chọn đó.

Nguồn:AWS Machine Learning Blog · aws.amazon.com