Gradium mã nguồn mở mô hình giọng nói siêu nhỏ: trọng số chỉ 64MB, điện thoại ngắt mạng vẫn có thể nói chuyện

Động Sát Beating Tin nhanh AI, công ty giọng nói AI Gradium mã nguồn mở mô hình tạo giọng nói Phonon. Vào tháng 4 năm nay, nó bắt đầu thử nghiệm riêng với khoảng 100 triệu tham số, lần này ra mắt phiên bản 31 triệu và 40 triệu tham số, đồng thời lần đầu tiên công khai trọng số mô hình. Trong đó, phiên bản tiếng Anh 31 triệu tham số với trọng số Q8 chỉ 64MB, CPU thông thường có thể chạy được. Phiên bản 40 triệu tham số hỗ trợ năm ngôn ngữ Anh, Pháp, Đức, Tây Ban Nha, Bồ Đào Nha, cung cấp mô hình đơn ngôn ngữ và mô hình hợp nhất năm ngôn ngữ.

Phonon được huấn luyện thông qua chưng cất từ mô hình lớn hơn. Nó đọc trực tiếp văn bản, không cần chuyển đổi thành âm vị trước, sau đó sử dụng Transformer để dự đoán dần các đặc trưng âm thanh, tạo ra âm thanh thông qua bộ giải mã Mimi. Mỗi lần xuất ra tương ứng 80 mili giây giọng nói, có thể vừa tổng hợp vừa phát, không cần đợi toàn bộ câu được tạo xong.

Về tốc độ, Gradium tiết lộ, Phonon trên Snapdragon 8 Elite Gen 5 chỉ mất 7,5 mili giây để tạo đoạn âm thanh đầu tiên, tốc độ tổng hợp đạt gấp 24 lần thời gian thực. Trên CPU của MacBook Air M5, âm thanh đầu tiên khoảng 7 mili giây.

Về chất lượng âm thanh, Gradium đã tổ chức 1189 người nghe thử, hoàn thành hơn 17.000 lượt bỏ phiếu nghe mù. Phiên bản tiếng Anh 31 triệu tham số đạt 2098 Elo, cao hơn 2056 của Pocket TTS 100 triệu tham số. Trong một bài kiểm tra tiếng Anh 500 câu khác bao gồm số điện thoại, email và văn bản phức tạp, tỷ lệ lỗi từ của Phonon là 1,7%, thấp hơn 3,5% của một mô hình giọng nói mã nguồn mở khác Kokoro 82 triệu tham số. Những thành tích này đều đến từ các bài kiểm tra do Gradium công bố.

Phonon đã được tích hợp vào các công cụ như Ollama, MLX-Audio. Đối tác Xybrid còn trên một chiếc MacBook M1 Pro 16GB, đồng thời chạy 8B Agent, Whisper và Phonon, cho phép nhân vật trò chơi 3D trò chuyện thời gian thực trong điều kiện hoàn toàn ngắt mạng.

Hiện tại chỉ có phiên bản tiếng Anh 31 triệu tham số sử dụng giấy phép Apache 2.0, cho phép sử dụng thương mại. Phiên bản 40 triệu tham số và đa ngôn ngữ sử dụng giấy phép CC BY-NC, sử dụng thương mại cần được cấp phép riêng. Chưa phát hành mô hình tiếng Trung.