dspy-wsp phát hành trình tối ưu hóa WeightSpace chỉnh sửa trọng số mô hình thông qua LLM writer
Beating benchmarks by weight-space optimizing decision models with DSPy
dspy-wsp là một nguyên mẫu trình tối ưu hóa DSPy đưa Weight-Space Programming vào các chương trình hiện có, cho phép một LLM writer như GPT-6-Astra chỉnh sửa trọng số của một mô hình khác mà không cần gradient hay huấn luyện. Được thử nghiệm trên năm mô hình quyết định mở từ 0,6B đến 9B tham số với bộ đánh giá Typed Decisions, chỉ riêng WeightSpace đã tăng 1,9 đến 16,1 điểm độ chính xác trên 400 trường hợp giữ lại, và 6,5 đến 20,0 điểm khi kết hợp với trình tối ưu hóa ReAnchor. Mỗi lần chạy sử dụng 25 lượt lan truyền xuôi ở mức nỗ lực suy luận tối đa với chi phí khoảng 5-10 USD, và các mô hình đã chỉnh sửa chạy cục bộ qua MLX trên Apple silicon hoặc PyTorch trên GPU NVIDIA.
Nguồn:Hacker News · AI · cmpnd.ai