Tới nội dung
Sự việc nóngĐang diễn ra

Edgee mô tả việc chuyển đổi LLM giữa phiên như bài toán thuê ván trượt

1 bài viết1 nguồn đưa tinCập nhật 4 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Edgee đã công bố một bài giải thích kỹ thuật mô tả cách Agent Gateway của mình xử lý việc chuyển đổi LLM giữa cuộc hội thoại trong các phiên lập trình, đặt quyết định này dưới góc nhìn bài toán trực tuyến thuê ván trượt. Gateway coi việc định tuyến gồm hai phần gắn kết: một bản đồ phân tầng độ khó gán mô hình cho từng lượt, và một chính sách chuyển đổi quyết định khi nào một phiên đang chạy thực sự đổi mô hình. Vì các nhà cung cấp lưu đệm lịch sử hội thoại, mỗi lần chuyển đổi sẽ hủy bộ đệm đã ấm và phải trả chi phí xây dựng lại, đó là lý do Edgee mô hình hóa việc chuyển đổi như một sự đánh đổi chi phí thay vì một lựa chọn miễn phí. Edgee cho biết Self-Learning Routing của mình phát lại các phiên của một tổ chức trong 30 ngày qua hàng tuần để chọn bản đồ phân tầng và cài đặt chuyển đổi rẻ nhất mà vẫn giữ mọi lượt trên một mô hình đủ năng lực. Định tuyến các tác nhân lập trình qua Edgee yêu cầu cài đặt CLI khoảng năm phút và không cần thay đổi mã, và không có gì thay đổi cho đến khi các cài đặt được áp dụng; bật phân loại trong bảng điều khiển yêu cầu gói Team hoặc Enterprise.

Tạo từ các bài viết · cập nhật 4 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hacker News · AI
    Chuyển đổi LLM giữa cuộc hội thoại là một bài toán thuê ván trượt

    Agent Gateway của Edgee xem việc định tuyến LLM trong các phiên lập trình là hai bài toán gắn kết với nhau: một bản đồ phân tầng độ khó gán mô hình cho từng lượt, và một chính sách chuyển đổi quyết định khi nào một phiên đang chạy thực sự đổi mô hình. Vì các nhà cung cấp lưu bộ nhớ đệm lịch sử hội thoại, mỗi lần đổi mô hình đều hủy bộ nhớ đệm đã ấm và phải trả chi phí dựng lại, nên gateway đặt việc chuyển đổi như một bài toán trực tuyến thuê ván trượt. Định tuyến Tự Học phát lại các phiên của một tổ chức trong 30 ngày qua hàng tuần để chọn bản đồ phân tầng và cấu hình chuyển đổi rẻ nhất mà vẫn giữ mọi lượt trên một mô hình đủ năng lực.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
9
Đỉnh, trong khoảng so sánh được
1020 tháng 11 00:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.