Anthropic phát hành FlashProve, hệ thống zkSNARK mã nguồn mở cho suy luận LLM có thể chứng minh
Progress on provable inference for large language models
Anthropic phát hành FlashProve, một nguyên mẫu mã nguồn mở sử dụng zkSNARK để chứng minh một phản hồi đến từ một mô hình đã cam kết mà không tiết lộ trọng số của nó. Trên Llama 4 Maverick (MoE 400 tỷ tham số, trọng số 4-bit), một H100 duy nhất tạo bằng chứng với tốc độ khoảng 110 token/giây với bằng chứng ~19 MB mỗi yêu cầu 1.024 token, tức khoảng 70-95 lần thời gian GPU mà vLLM cần cho cùng công việc. Bản phát hành bao gồm mã prover và verifier có thể thực thi, một verifier C++ nhanh, một verifier Lean với các tuyên bố completeness, soundness và zero-knowledge được máy kiểm chứng, và một báo cáo kỹ thuật, tất cả theo Apache 2.0.
FlashProve của Anthropic cho thấy các bằng chứng dựa trên zkSNARK về suy luận đang trở nên thực tiễn đối với một mô hình MoE 400 tỷ tham số, với mã nguồn mở và các tuyên bố bảo mật được Lean kiểm chứng.
Nguồn:Anthropic Research · anthropic.com