Ngày 20 tháng 11, CertiK công bố thành tựu kỹ thuật TensorLean đạt được cùng các nhà nghiên cứu Đại học Columbia, hoàn thành lần đầu tiên trên toàn cầu việc xác minh hình thức các toán tử AI cấp sản xuất. Đột phá này cho phép chứng minh toán học được áp dụng cho mã tính toán AI thực tế đã qua tối ưu hiệu năng phức tạp, cung cấp cho các nhà sản xuất mô hình lớn sự đảm bảo chính xác chặt chẽ hơn khi tăng tốc độ huấn luyện và giảm chi phí suy luận.
Huấn luyện mô hình lớn và sinh câu trả lời phụ thuộc vào các chương trình tính toán nền tảng trong thư viện toán tử AI. Những chương trình chạy trên GPU này được gọi là nhân GPU. Một lỗi duy nhất có thể khiến hệ thống âm thầm tính ra kết quả sai trong khi vẫn hoạt động bình thường, ảnh hưởng đến đầu ra tiếp theo, thậm chí khiến quá trình huấn luyện lệch khỏi kỳ vọng. Lấy ví dụ tính toán theo tình huống, một lần huấn luyện với 100 triệu USD sức mạnh tính toán, nếu 1% phép tính do lỗi phải làm lại, đồng nghĩa với việc tốn thêm 1 triệu USD.
Giá trị cốt lõi của xác minh hình thức là dùng chứng minh toán học để loại trừ lỗi và lỗ hổng. Kiểm thử thông thường tìm vấn đề thông qua các mẫu cụ thể; xác minh hình thức có thể chứng minh rằng chương trình luôn đáp ứng yêu cầu trong điều kiện đầu vào và vận hành quy định, không tồn tại lỗi và lỗ hổng trong phạm vi xác minh.
Áp dụng phương pháp này cho mã AI cấp sản xuất, khó khăn nằm ở việc xử lý tối ưu hiệu năng thực tế. Chương trình GPU vừa di chuyển dữ liệu vừa tính toán, điều chỉnh lịch trình vận hành theo kích thước tác vụ, và sử dụng phép tính có độ chính xác thấp hơn. TensorLean có thể xử lý đồng thời các điều kiện phức tạp này, trực tiếp xác minh mã PTX được tạo ra sau khi biên dịch chương trình, chứng minh tính toán đáp ứng yêu cầu trong điều kiện và phạm vi sai số quy định. Tất cả chứng minh đều được hoàn thành trong Lean, có thể được máy xác minh.
Thành viên nhóm nghiên cứu TensorLean Cường Ngụy và Dương Cam Tường cho biết: "Những tối ưu phức tạp này chính là lý do mã AI cấp sản xuất chạy nhanh. Thách thức của chúng tôi là hoàn thành chứng minh mà không bỏ qua các điều kiện vận hành thực tế này, để xác minh nghiêm ngặt có thể áp dụng cho mã hiệu năng cao được sử dụng thực tế."
Nhóm nghiên cứu đã đánh giá 149 trường hợp nhân GPU đã biên dịch, và thông qua chứng minh hình thức xác minh 83 trường hợp trong đó phù hợp với đặc tả Lean tương ứng. Nghiên cứu này bao phủ các kiến trúc GPU khác nhau qua các thế hệ, và liên quan đến DeepGEMM của DeepSeek và thư viện toán tử FlashAttention được sử dụng rộng rãi. Nhóm đã phát hiện tổng cộng 38 vấn đề chính xác trong 6 thư viện, trong đó DeepGEMM có 2, FlashAttention có 23.
Gu Ronghui, đồng sáng lập CertiK, giáo sư Khoa Khoa học Máy tính Đại học Columbia, cho biết: "Sau khi phát hiện lỗ hổng, còn cần chứng minh chương trình sau khi sửa đáp ứng yêu cầu trong điều kiện quy định. Đối với các nhà sản xuất mô hình lớn, mỗi lần tăng tốc đều nên có cơ sở chính xác đáng tin cậy. Chúng tôi hy vọng để xác minh nghiêm ngặt này theo kịp vòng lặp mã, ngăn chặn rủi ro lỗi tính toán trước khi huấn luyện và triển khai quy mô lớn."
Giá trị thực tế của thành quả này đối với các nhà sản xuất mô hình lớn nằm ở từng vòng tối ưu hiệu năng. Sau khi mã được cập nhật, ngoài việc đo lường mức tăng tốc độ, đội ngũ R&D còn có thể chạy lại kiểm chứng, kiểm tra xem việc tối ưu có đưa vào lỗi tính toán hay không, và đưa ra chứng minh có thể được máy kiểm chứng cho các chương trình đáp ứng yêu cầu. Điều này giúp giảm lãng phí sức tính toán, làm lại khi huấn luyện và rủi ro kết quả sai lọt vào các phép tính tiếp theo.
Các phép tính cùng loại còn có thể tái sử dụng các yêu cầu kiểm chứng sẵn có, giúp phương pháp này có thể áp dụng cho nhiều kernel hơn và được thực thi lặp lại theo các bản cập nhật mã, mang lại nền tảng đáng tin cậy hơn cho việc không ngừng nâng cao hiệu quả tính toán AI.
Vào tháng 10 năm nay, Anthropic cũng đã công bố nghiên cứu sử dụng Claude để xây dựng chứng minh toán học cho phần mềm mã nguồn mở. TensorLean tập trung vào tính toán nền tảng của chính AI, cho thấy giá trị ứng dụng của kiểm chứng hình thức tự động trong mã AI cấp sản xuất.
Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:
Nhóm Telegram đăng ký: https://t.me/theblockbeats
Nhóm Telegram thảo luận: https://t.me/BlockBeats_App
Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia