Claude ba ngày phá vỡ hào bảo vệ CUDA 20 năm của NVIDIA? Anthropic để Mythos tự chuyển mã nguồn cấp thấp GPU

Động Sát Beating Tin nhanh AI, Anthropic tiết lộ trong buổi roadshow IPO rằng Claude Mythos Preview chỉ mất 3 ngày để giúp một mô hình Claude chạy thông suốt các khâu tính toán then chốt trên GPU AMD. Gần như toàn bộ nhân GPU cần thiết đều do Claude tự chuyển đổi hoặc viết, rất ít can thiệp thủ công. Anthropic cho biết, trước đây để tích hợp một nền tảng chip mới thường cần hàng chục kỹ sư mất 6 đến 12 tháng.

Một trong những lợi thế khó bị thay thế nhất của NVIDIA chính là CUDA.

CUDA là nền tảng tính toán GPU do NVIDIA ra mắt năm 2006. Đến năm 2018, các framework học sâu chủ lưu như PyTorch, TensorFlow đã sử dụng rộng rãi CUDA và các thư viện tính toán đi kèm. NVIDIA cũng dần hoàn thiện các công cụ giao tiếp đa card, gỡ lỗi và tối ưu hiệu năng. Lập trình viên không cần viết lại từ đầu một lượng lớn chương trình tầng thấp mà vẫn có thể tận dụng GPU hiệu quả.

Khi ngày càng nhiều chương trình huấn luyện và suy luận AI được phát triển xoay quanh CUDA, NVIDIA đã tích lũy được lượng lớn mã và công cụ có sẵn. Lập trình viên chọn NVIDIA, nhiều khi cũng vì phần mềm đã được thích ứng sẵn. Ngay cả khi AMD sản xuất được GPU có hiệu năng mạnh, khách hàng muốn chuyển sang cũng phải đối mặt với các vấn đề như chuyển đổi mã, kiểm thử tương thích và tối ưu hiệu năng.

MI355X của AMD được trang bị 288GB bộ nhớ hiệu năng cao, cấu hình phần cứng không hề yếu. Vấn đề nằm ở chỗ, các nhân GPU được viết cho NVIDIA khi chuyển sang AMD không nhất thiết chạy được trực tiếp, thậm chí nếu chạy được thì hiệu năng cũng chưa chắc lý tưởng. Kỹ sư vẫn phải điều chỉnh mã theo kiến trúc chip của AMD, kiểm thử lặp đi lặp lại kết quả tính toán và tốc độ chạy.

AMD đã sớm ra mắt các công cụ như ROCm, HIPIFY để giúp lập trình viên chuyển đổi chương trình CUDA. Các công cụ lập trình đa nền tảng như Triton cũng đang giảm độ khó chuyển đổi, nhưng các phép tính tầng thấp phức tạp vẫn cần nhiều tối ưu thủ công.

Lần này Anthropic để Mythos đảm nhận một phần công việc trong đó, tự chuyển đổi hoặc viết lại nhân GPU. Theo giải thích trên biểu đồ roadshow, nó đã giúp khâu xử lý prompt của một mô hình Claude đạt hiệu năng khả dụng trên AMD MI355X trong 3 ngày.

Thực ra Anthropic đã sớm giảm sự phụ thuộc vào một nhà sản xuất chip duy nhất. Bản cáo bạch tiết lộ, công ty đã dành nhiều năm xây dựng hệ thống điều phối năng lực tính toán trải rộng trên GPU NVIDIA, GPU AMD, TPU của Google và Trainium của Amazon, có thể lựa chọn chip khác nhau dựa trên giá cả và hiệu năng.

Vào tháng 7 năm nay, Anthropic cũng đã đạt được hợp tác với AMD, dự kiến bắt đầu triển khai GPU thế hệ mới của AMD từ nửa đầu năm 2027, với quy mô lên tới 2GW. Hai bên cũng sẽ sử dụng Claude để đẩy nhanh phát triển ROCm và tối ưu hiệu năng GPU. AMD cam kết đầu tư tối đa 5 tỷ USD vào Anthropic trong tương lai.

Nhà đầu tư Marcelo P. Lima cho rằng hào bảo vệ CUDA của Nvidia đã biến mất. Nhưng nhà phân tích Ben Pouladian đưa ra quan điểm khác: để một phần tính toán của mô hình chạy trên AMD, so với việc để toàn bộ hệ thống đạt hiệu năng ổn định, kinh tế và có sức cạnh tranh trong triển khai quy mô lớn, vẫn còn sự khác biệt rất lớn.