Airbnb dùng chi phí trên mỗi tác vụ để quản lý các coding agent trên Bedrock
Bắt đầu từ đây
Airbnb đã trình bày chi tiết cách họ vận hành AirChat, công cụ coding-agent nội bộ của mình, thông qua một cổng LLM trên Amazon Bedrock và dùng "chi phí trên mỗi tác vụ"—chi phí theo giá niêm yết của toàn bộ token mà một agent tiêu tốn để hoàn thành một tác vụ—để đặt mặc định mô hình và giới hạn nỗ lực. Airbnb cho biết sau khi tám mô hình mới được phát hành trong khoảng năm tuần, đến giữa tháng 10, khoảng hai phần ba yêu cầu coding-agent của kỹ sư đã chuyển sang các mô hình mới đó. Airbnb kết hợp đánh giá trước khi triển khai với các tín hiệu vận hành từ CloudWatch về độ trễ, throttling và mức tiêu thụ token để xem xét lại các lựa chọn đó. Phương pháp này dựa vào ghi log gọi mô hình, vốn mặc định bị tắt và phải được bật ở mọi AWS Region được gọi đến; việc bật không ghi bù chi phí trước đó. Vì log có thể chứa toàn bộ prompt, phản hồi và danh tính người gọi, Airbnb khuyến nghị hạn chế quyền truy cập và đặt thời hạn lưu trữ. Họ cũng lưu ý rằng lượt đọc cache không bao giờ bị tính vào hạn mức, nên một yêu cầu có thể rẻ so với hạn mức nhưng lại tốn kém trên hóa đơn.
Tạo từ các bài viết · cập nhật 21 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAirbnb sử dụng chi phí trên mỗi tác vụ như thế nào để vận hành các tác nhân lập trình trên Amazon Bedrock
Airbnb vận hành công cụ tác nhân lập trình nội bộ AirChat của mình thông qua một cổng LLM trên Amazon Bedrock, sử dụng chi phí trên mỗi tác vụ—chi phí theo giá niêm yết của tất cả các token mà một tác nhân tiêu tốn để hoàn thành một tác vụ—để chọn mô hình mặc định và giới hạn nỗ lực. Sau khi tám mô hình mới được phát hành trong khoảng năm tuần, đến giữa tháng 10, khoảng hai phần ba yêu cầu tác nhân lập trình của các kỹ sư đã chuyển sang các mô hình mới đó. Airbnb kết hợp đánh giá trước khi triển khai với các tín hiệu thời gian chạy từ CloudWatch về độ trễ, điều tiết và mức tiêu thụ token để xem xét lại các lựa chọn đó.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 5
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 07:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.