Tencent Hỗn Nguyên Hy4 mã nguồn mở: tổng tham số 770 tỷ, ngữ cảnh 1 triệu

Động sát Beating Tin nhanh AI, Tencent công bố và mã nguồn mở Hy4 preview, mô hình mới sử dụng kiến trúc MoE, tổng tham số 770B, mỗi lần kích hoạt 49B, ngữ cảnh mở rộng lên 1M. So với Hy3 có tổng tham số 295B, tham số kích hoạt 21B và ngữ cảnh 256K, thế hệ này quy mô tăng gấp hơn hai lần, ngữ cảnh dài cũng mở rộng khoảng 4 lần.

Lần này Tencent không chỉ nhấn mạnh điểm số tổng quát, mà còn đặc biệt tăng cường các tác vụ thực tế như lập trình, văn phòng, game và nghiên cứu khoa học. Ví dụ, mô hình có thể xây dựng từ đầu trang web Three.js 3D, tạo bản demo game chơi được trong Unity, cũng có thể xử lý 72 tài liệu tài chính cùng lúc, kiểm tra trùng lặp hoàn ứng, vượt hạn mức và bất thường ngân sách. Hy4 còn được huấn luyện và lặp cùng các sản phẩm Tencent như WorkBuddy, CodeBuddy.

Điểm đặc biệt hơn nữa là Hy4 đã bắt đầu tham gia vào quá trình phát triển của chính nó. Tencent cho biết, nó sẽ giúp tối ưu hóa phương pháp huấn luyện, chiến lược dữ liệu, hệ thống đánh giá và toán tử nền tảng, tự đề xuất giải pháp, chạy thử nghiệm, rồi tiếp tục điều chỉnh dựa trên kết quả. Mã nguồn, nhật ký và phản hồi từ thử nghiệm sẽ được đưa vào vòng phát triển tiếp theo, đã hình thành vòng lặp tự cải thiện ban đầu.

Hy4 preview đã được tích hợp vào WorkBuddy, CodeBuddy, Yuanbao, ima, Tencent Cloud TokenHub và OpenRouter. Tencent trước đó trong báo cáo tài chính đã dự báo Hy4 sẽ lớn hơn Hy3, và coi phản hồi sản phẩm thực tế là nguồn quan trọng cho việc huấn luyện mô hình.