Nhà phát triển PUBG phát hành mã nguồn mở mô hình 30B: sửa lỗi gần ngang Meta, nền tảng dùng công nghệ Kimi và DeepSeek

Động Sát Beating Tin nhanh AI, gã khổng lồ game Hàn Quốc KRAFTON phát hành bản xem trước Raon-1 mini. Đây là một mô hình ngôn ngữ MoE được huấn luyện từ đầu, tổng số tham số khoảng 28,8 tỷ, mỗi lần suy luận chỉ kích hoạt 4,3 tỷ, tập trung tối ưu hóa khả năng hội thoại tiếng Hàn, lập trình và Agent, hỗ trợ ngữ cảnh 260.000 Token.

Mặc dù được huấn luyện từ đầu, nhưng công nghệ nền tảng cũng có bóng dáng của các nhà sản xuất Trung Quốc. Nó sử dụng kiến trúc attention hỗn hợp, trong 25 lớp mạng có 18 lớp sử dụng cơ chế linear attention được cải tiến từ Kimi Delta Attention. Ngoài ra, nhóm còn đơn giản hóa công nghệ siêu kết nối mHC của DeepSeek, giảm chi phí tính toán huấn luyện.

Thử nghiệm do KRAFTON công bố cho thấy, Raon-1 mini đạt 70,8% trong bài kiểm tra sửa mã SWE-Verified, vượt qua 63,2% của Qwen3.6-35B-A3B, tiệm cận 72,0% của Meta Muse Glimmer. Nhưng trong bài kiểm tra thao tác terminal Terminal-Bench Lite, nó chỉ đạt 47,0%, rõ ràng kém hơn 63,3% của Qwen3.6-35B-A3B và 70,7% của Muse Glimmer. Bài kiểm tra tuân thủ chỉ dẫn IFBench thì đạt 84,2%, cao hơn hai mô hình trên.

Trọng số mô hình đã được mở theo giấy phép Apache 2.0, cung cấp các phiên bản GGUF, MLX, hỗ trợ chạy cục bộ trên Mac. Phiên bản lượng tử hóa NVFP4 có thể triển khai trên một card RTX 5090. Nhóm còn cung cấp mô hình giải mã suy đoán DFlash2, trong thử nghiệm trên một card NVIDIA B300, so với giải mã thông thường đạt mức tăng thông lượng đầu ra tối đa 2,18 lần.