Cartesia nâng cấp H-Net: giúp mô hình lớn tự học cách phân tách dữ liệu, hiệu quả huấn luyện tăng tối đa khoảng 10 lần

Động Sát Beating AI tin nhanh, mô hình lớn đã có thể tự học ngôn ngữ, nhưng văn bản nên được cắt thành Token như thế nào thường vẫn do bộ phân tách từ được huấn luyện trước quyết định. Điều này có thể tiết kiệm sức tính toán, nhưng cũng hạn chế cách mô hình tổ chức thông tin. Khi gặp từ vựng lạ hoặc mã code, quy tắc cắt cố định có thể không phù hợp; nếu hoàn toàn không phân tách từ, xử lý trực tiếp từng byte, chi phí tính toán lại tăng mạnh.

Công ty AI giọng nói Cartesia vào tháng 7 năm 2025 đã đề xuất H-Net (mạng phân cấp), chính là muốn giải quyết mâu thuẫn này. Nó cho phép mô hình đọc trực tiếp byte gốc, tự học cách cắt và nén thông tin. Ví dụ khi gặp từ lạ, ban đầu có thể tách thành nhiều đoạn; khi từ này xuất hiện lặp lại trong ngữ cảnh, lại dần hợp nhất thành ít đoạn hơn. Sự thay đổi này cũng có thể xảy ra khi suy luận, không cần huấn luyện lại.

Hiện nay Cartesia công bố phiên bản H-Net mới, hiệu quả huấn luyện đã được cải thiện rõ rệt. Trong thí nghiệm kiểm soát nghiêm ngặt các điều kiện chính, sức tính toán cần để đạt cùng mức tổn thất kiểm chứng giảm khoảng 22%, hiệu quả tính toán đánh giá hạ nguồn tăng khoảng gấp đôi. Trong thí nghiệm quy mô lớn hơn, H-Net mới chỉ dùng khoảng 1 nghìn tỷ Token dữ liệu tương đương, đã đuổi kịp mô hình mã nguồn mở SmolLM3 được huấn luyện khoảng 11 nghìn tỷ Token về điểm trung bình sáu bài kiểm tra, sức tính toán huấn luyện cần để đạt thành tích này chỉ bằng khoảng một phần mười của mô hình sau.

Phương pháp này cũng không giới hạn ở văn bản. Nhóm nghiên cứu dùng bộ gen vi khuẩn và vi khuẩn cổ để huấn luyện H-Net, phát hiện mô hình khi xử lý đoạn gen người có thể tự nhận diện quy luật mỗi ba base một nhóm trong vùng mã hóa. Hiệu quả tính toán trong thí nghiệm mô hình DNA liên quan tăng khoảng 6–7 lần.

Âm thanh không giống văn bản có ranh giới từ sẵn có, Cartesia ban đầu nghiên cứu H-Net, thực ra là muốn để mô hình giọng nói trực tiếp học ra âm tố và từ từ âm thanh liên tục, mà không cần dựa vào quy tắc cắt được thiết kế trước.