Động Sát Beating Tin nhanh AI, Anthropic đã mã nguồn mở FlashProve, đưa công nghệ zkSNARK (bằng chứng không kiến thức) thường dùng trong lĩnh vực tiền mã hóa vào suy luận mô hình AI.
Công nghệ này vốn có thể chứng minh giao dịch blockchain hợp lệ mà không tiết lộ chi tiết giao dịch. Anthropic muốn dùng nó để giải quyết một vấn đề khác: người dùng trả giá cao để mua API của một mô hình AI nào đó, làm sao biết nhà cung cấp dịch vụ có lén đổi sang mô hình rẻ hơn hay không?
FlashProve cho phép nhà cung cấp dịch vụ trước tiên tạo dấu vân tay mã hóa cho trọng số mô hình, sau đó cung cấp bằng chứng toán học cho kết quả suy luận. Người dùng không cần lấy trọng số mô hình, cũng không cần chạy lại mô hình, mà vẫn có thể kiểm tra liệu đầu ra được chỉ định có đến từ nhóm trọng số đã cam kết trước đó hay không. Claude cũng đã tham gia vào việc nghiên cứu và tối ưu hệ thống này.
Anthropic đã hoàn thành thử nghiệm trên mô hình 400 tỷ tham số Llama 4 Maverick của Meta. Mỗi lần xử lý ngữ cảnh 1024 token, bằng chứng được tạo ra có kích thước khoảng 19 MB, và CPU thông thường cần khoảng 17 giây để xác minh.
Tuy nhiên, hiện tại mỗi bằng chứng chỉ có thể xác minh một token đầu ra, chưa thể xác minh toàn bộ câu trả lời. Thời gian tính toán GPU cần để tạo bằng chứng cũng cao gấp khoảng 70–95 lần so với suy luận thông thường. Liệu sau này có thể dựa vào nó để phát hiện các nhà cung cấp dịch vụ API lén đổi mô hình hay không, còn phải xem khi nào chi phí tạo bằng chứng mới có thể giảm xuống.
