dspy-wsp phát hành nguyên mẫu optimizer chỉnh sửa trọng số mô hình thông qua LLM
Bắt đầu từ đây
dspy-wsp đã phát hành một nguyên mẫu optimizer DSPy, dspy-wsp, cho phép một LLM writer như GPT-6-Astra chỉnh sửa trọng số của một mô hình khác mà không cần gradient hay huấn luyện. Trên năm mô hình quyết định mở từ 0,6B đến 9B tham số, được thử nghiệm với benchmark Typed Decisions, chỉ riêng WeightSpace đã tăng 1,9 đến 16,1 điểm độ chính xác trên 400 trường hợp giữ lại, và tăng 6,5 đến 20,0 điểm khi kết hợp với optimizer ReAnchor, theo dự án cho biết. Công cụ này yêu cầu DSPy 3.5 và được các tác giả mô tả là rất thử nghiệm. Mỗi lần chạy sử dụng 25 lượt forward ở mức suy luận tối đa với chi phí khoảng 5-10 USD; các mô hình đã chỉnh sửa chạy cục bộ qua MLX trên Apple silicon hoặc PyTorch trên GPU NVIDIA. Các tác giả lưu ý rằng các lần chạy chỉnh sửa trên LLM tạo văn bản rất dài và tốn kém, và có thể không tạo ra kết quả thuyết phục. Tối ưu hóa không gian trọng số trên d1-omni-600M chạy trên máy Mac hoặc GPU có ít nhất 4 GB bộ nhớ.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIdspy-wsp phát hành trình tối ưu hóa WeightSpace chỉnh sửa trọng số mô hình thông qua LLM writer
dspy-wsp là một nguyên mẫu trình tối ưu hóa DSPy đưa Weight-Space Programming vào các chương trình hiện có, cho phép một LLM writer như GPT-6-Astra chỉnh sửa trọng số của một mô hình khác mà không cần gradient hay huấn luyện. Được thử nghiệm trên năm mô hình quyết định mở từ 0,6B đến 9B tham số với bộ đánh giá Typed Decisions, chỉ riêng WeightSpace đã tăng 1,9 đến 16,1 điểm độ chính xác trên 400 trường hợp giữ lại, và 6,5 đến 20,0 điểm khi kết hợp với trình tối ưu hóa ReAnchor. Mỗi lần chạy sử dụng 25 lượt lan truyền xuôi ở mức nỗ lực suy luận tối đa với chi phí khoảng 5-10 USD, và các mô hình đã chỉnh sửa chạy cục bộ qua MLX trên Apple silicon hoặc PyTorch trên GPU NVIDIA.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.