Magic tuyên bố 500.000 USD tương đương với mô hình nền DeepSeek V4 Pro, tiết kiệm 50 lần sức mạnh tính toán tiền huấn luyện.

Động Sát Beating AI tin nhanh, công ty lập trình AI Magic công bố nghiên cứu tiền huấn luyện, cho biết một bộ phương án huấn luyện mới chỉ cần khoảng 500.000 USD sức mạnh tính toán GB200, có thể đạt hiệu quả tiền huấn luyện gần với DeepSeek V4 Pro Base, lượng tính toán cần thiết chỉ khoảng 1/50.

Base là mô hình nền chỉ hoàn thành tiền huấn luyện, chưa trải qua các bước hậu huấn luyện như học tăng cường. Magic dùng mã code chưa từng thấy, bài toán và bài nghiên cứu để kiểm tra mô hình, xem mô hình nào dự đoán nội dung tiếp theo chính xác hơn. Do đó, so sánh ở đây là hiệu quả tiền huấn luyện của mô hình nền, không đại diện cho khả năng trò chuyện, Coding hoặc Agent đã đuổi kịp phiên bản hoàn chỉnh DeepSeek V4 Pro.

Magic sau đó mở rộng quy mô huấn luyện lên 10 lần, tương đương khoảng 4 triệu USD sức mạnh tính toán GB200. Phiên bản này trong cùng bộ tự kiểm tra, đã vượt qua các mô hình Base công khai mới nhất của DeepSeek, Kimi và NVIDIA mà họ kiểm tra. Magic ước tính, nếu đạt cùng mức độ theo hiệu suất huấn luyện của DeepSeek V4 Pro, chi phí tính toán sẽ vượt quá 100 triệu USD.

Magic chưa công bố công thức huấn luyện đầy đủ, chỉ tiết lộ hiệu quả tăng lên đến từ hàng chục thay đổi trong kiến trúc mô hình, bộ tối ưu hóa, mục tiêu huấn luyện và xử lý dữ liệu. Hiện tại trọng số mô hình cũng chưa được phát hành, do đó "hiệu quả gấp 50 lần" vẫn chưa thể được bên ngoài tái lập độc lập.