Hơn 70 người đã sử dụng GPU máy tính cá nhân để hoàn thành việc huấn luyện phân tán mô hình lớn có 72 tỉ tham số, Huang Renxun: "Mã nguồn mở và đóng cửa không phải là A hoặc B, mà là A cộng B".

Theo theo giám sát từ 1M AI News, Mạng lưới AI phi tập trung Bittensor đã hoàn thành chương trình tiền huấn luyện mô hình phân tán lớn nhất cho đến nay trên Subnet 3 (Templar), với tên mã Covenant-72B, có 720 tỷ tham số, dữ liệu huấn luyện khoảng 1,1 nghìn tỷ token, được hoàn thành thông qua việc cộng tác trên mạng từ hơn 70 người đóng góp bằng phần cứng tiêu dùng thông thường mà không cần cơ sở hạ tầng tính toán tập trung, có hiệu năng thử nghiệm so với LLaMA-2-70B.

Thành quả này đã được đề cập trong cuộc phỏng vấn độc quyền trên All-In Podcast, trong đó Giám đốc điều hành NVIDIA Huang Renxun đã phát biểu rõ ràng về mối quan hệ giữa mã nguồn mở và mã nguồn đóng (closed source): "Điều này không phải là A hoặc B, mà là A cộng với B, không có nghi ngờ nào." Ông chỉ ra rằng các mô hình thông dụng (như ChatGPT, Claude, Gemini) phù hợp với hầu hết người dùng, trong khi "kiến thức chuyên ngành độc đáo chỉ có thể được bọc và kiểm soát thông qua mô hình mã nguồn mở, đó là giá trị cốt lõi của mã nguồn mở." Ông cũng tiết lộ rằng mỗi công ty khởi nghiệp mà NVIDIA đầu tư hiện nay "ưu tiên sử dụng mô hình mã nguồn mở trước, sau đó dần dần chuyển sang mô hình đóng cửa".