Ant Ling mở mã nguồn 5 mô hình giọng nói: TTS 500 triệu tham số đứng đầu mã nguồn mở trong bài kiểm tra nghe mù cùng âm sắc

Động Sát Beating AI tin nhanh, Ant Ling开源 dòng giọng nói Ming-3.0, bao gồm ba hướng chính là tổng hợp giọng nói, hiểu âm thanh và nhận dạng giọng nói, tổng cộng 5 mô hình, gồm 2 mô hình TTS, 2 mô hình Audio và 1 mô hình ASR, đều sử dụng giấy phép MIT. Các nhà phát triển có thể kết hợp chúng để hoàn thành nhập liệu bằng giọng nói, phân tích nội dung và phản hồi bằng giọng nói.

Điểm nổi bật nhất là Ming-3.0-tts-0.5B chỉ với 500 triệu tham số. Người dùng có thể như một đạo diễn, yêu cầu AI nói trong khi nén giận bằng ngôn ngữ tự nhiên, nhấn mạnh từ ngữ cụ thể, hoặc điều chỉnh nhịp điệu lời thoại. Nó còn hỗ trợ nhân bản âm sắc, thiết kế âm sắc bằng văn bản, và chèn 14 loại nhãn âm thanh như cười nhẹ, thở dài tại vị trí chỉ định. Trong bài kiểm tra nghe mù cùng âm sắc của Artificial Analysis, mô hình này đứng đầu các mô hình mã nguồn mở với 1069 Elo.

Ming-3.0-audio-flash phụ trách hiểu bản ghi âm thì lớn hơn nhiều, tổng tham số đạt 126 tỷ, mỗi lần kích hoạt khoảng 6,5 tỷ. Nó có thể trực tiếp nhận bản ghi âm cuộc họp, hỏi đáp xoay quanh nội dung thảo luận, sắp xếp đồng thuận, bất đồng và việc cần làm, không cần tạo bản ghi từng chữ riêng trước.

Một mô hình khác là Ming-3.0-asr-tiny chuyên về nhận dạng giọng nói, hỗ trợ truyền vào tên người, địa danh, thuật ngữ ngành và ngữ cảnh hội thoại trước đó, hỗ trợ nhận dạng phương ngữ và từ hiếm. Trong bốn loại kiểm tra nhận dạng giọng nói do Ant công bố, tỷ lệ lỗi trung bình của nó là 4,41%.