Công ty AI xAI của Musk chính thức phát hành mã nguồn Grok-1

Theo tin tức của BlockBeats, vào ngày 18 tháng 3, công ty trí tuệ nhân tạo xAI của Musk đã công bố khai trương trọng lượng và cấu trúc của mẫu chuyên gia lai thông số 314 tỷ Grok-1. Grok-1 là một mô hình ngôn ngữ lớn được xAI đào tạo từ đầu, sử dụng kiến trúc mô hình chuyên gia kết hợp trong đó 25% trọng số đang hoạt động trên một mã thông báo nhất định. Trọng số mô hình cơ bản và kiến trúc mạng hiện có sẵn theo giấy phép Apache 2.0. Được biết, giai đoạn đào tạo trước của Grok-1 đã kết thúc vào tháng 10 năm 2023 và những gì hiện được phát hành là điểm kiểm tra mô hình cơ bản ban đầu, chưa được tinh chỉnh cho bất kỳ ứng dụng cụ thể nào.