Hacker News · AI·· 4 giờ trướcĐiểm AI38
Chuyển đổi LLM giữa cuộc hội thoại là một bài toán thuê ván trượt
Switching LLMs mid-conversation is a ski-rental problem
Tóm tắt bằng AI
Agent Gateway của Edgee xem việc định tuyến LLM trong các phiên lập trình là hai bài toán gắn kết với nhau: một bản đồ phân tầng độ khó gán mô hình cho từng lượt, và một chính sách chuyển đổi quyết định khi nào một phiên đang chạy thực sự đổi mô hình. Vì các nhà cung cấp lưu bộ nhớ đệm lịch sử hội thoại, mỗi lần đổi mô hình đều hủy bộ nhớ đệm đã ấm và phải trả chi phí dựng lại, nên gateway đặt việc chuyển đổi như một bài toán trực tuyến thuê ván trượt. Định tuyến Tự Học phát lại các phiên của một tổ chức trong 30 ngày qua hàng tuần để chọn bản đồ phân tầng và cấu hình chuyển đổi rẻ nhất mà vẫn giữ mọi lượt trên một mô hình đủ năng lực.
Nguồn:Hacker News · AI · edgee.ai