Trương Nhất Minh: Dữ liệu huấn luyện của Seed ít hơn vài bậc độ lớn, ByteDance sớm nhất phải đến năm 2029 mới có thể cạnh tranh với OpenAI và Anthropic

Động Sát Beating Tin nhanh AI, Trương Nhất Minh gần đây đã đưa ra một lộ trình tại cuộc họp toàn thể của đội Seed: ByteDance nhanh nhất cũng phải đến năm 2029-2030 mới có hy vọng cạnh tranh với OpenAI, Anthropic trong lĩnh vực AI tiên phong.

Trương Nhất Minh đặc biệt chỉ ra rằng, tập dữ liệu tiền huấn luyện mà mô hình ngôn ngữ lớn Seed sử dụng nhỏ hơn vài bậc độ lớn so với các đối thủ hàng đầu.

ByteDance thực ra đã có trong tay không ít quân bài tốt trong lĩnh vực AI. Doubao là ứng dụng trò chuyện AI có quy mô người dùng lớn nhất trong nước, Seedance cũng lọt vào hàng ngũ các mô hình tạo video hàng đầu thế giới. Đáng tiếc là mô hình ngôn ngữ tổng quát lại không theo kịp. Khi phát hành Seed2.1 vào tháng 6 năm nay, chính đội ngũ cũng thừa nhận rằng mô hình vẫn còn những điểm yếu rõ rệt trong các nhiệm vụ mở có độ khó cao và các vấn đề nghiên cứu khoa học tiên phong.

ByteDance đã chuẩn bị đầu tư một khoản tiền khổng lồ cho việc này. Vào tháng 5 năm nay, công ty đã thảo luận về việc nâng chi tiêu vốn cả năm lên tối đa 70 tỷ USD, chủ yếu dùng để xây dựng cơ sở hạ tầng như trung tâm dữ liệu AI. Tháng 8 lại có tin rằng, Seed đang tiền huấn luyện một mô hình lớn có tối đa 10 nghìn tỷ tham số, quy mô vượt qua tất cả các mô hình lớn công khai trong nước.

Trương Nhất Minh cũng không muốn đi đường tắt bằng chưng cất. Cái gọi là chưng cất, tức là lấy câu trả lời do các mô hình dẫn đầu như Claude tạo ra để huấn luyện ngược lại mô hình của mình. Vào tháng 8 năm nay, ông đã nói rõ rằng, cách này trong ngắn hạn thực sự có thể cải thiện hiệu suất, nhưng suy cho cùng học được vẫn là năng lực sẵn có của người khác, nhiều nhất chỉ có thể không ngừng tiến gần, rất khó thực sự vượt qua. Nội bộ Seed còn thông qua kiểm tra API và lọc dữ liệu huấn luyện để hạn chế đầu ra của các mô hình bên thứ ba xâm nhập vào tập huấn luyện.

Để bắt kịp, ByteDance cũng không ngừng tuyển người, giữ người. Seed hiện có khoảng 1000 nhân viên nghiên cứu phát triển, do Ngô Vĩnh Huy - người được Trương Nhất Minh chiêu mộ từ Google DeepMind năm ngoái - dẫn dắt. ByteDance còn đặc biệt ra mắt cổ phiếu ảo "cổ phiếu Doubao" gắn với mảng kinh doanh Doubao, nhân viên đủ điều kiện còn có thể chọn nhận thưởng cuối năm dưới dạng cổ phiếu Doubao, chia sẻ lợi ích từ tăng trưởng kinh doanh.

ByteDance dự định ra mắt trong vài tuần tới một trợ lý AI cá nhân tương tự Meta Muse, cho phép người dùng tương tác với AI qua giọng nói và hình đại diện ảo, đồng thời để nó thay mặt hoàn thành nhiệm vụ. Dự án trợ lý cá nhân nội bộ của Doubao có mật danh "Spell" đã bắt đầu thử nghiệm nội bộ từ tháng 4, sau đó vì lý do phát hành điện thoại Doubao mà mãi chưa chính thức ra mắt. Sau khi Meta Muse bùng nổ, ByteDance đã đẩy nhanh tiến độ, tranh thủ nghiên cứu phát triển trước kỳ nghỉ Quốc khánh, dự định tích hợp sâu hơn Spell với Doubao.