Mistral ra mắt Voxtral 3: kết nối nhận dạng giọng nói, suy luận và gọi công cụ thành Agent thời gian thực

Động Sát Beating AI tin nhanh, công ty AI Pháp Mistral ra mắt Voxtral 3, bao gồm ba mô hình phiên âm giọng nói, một mô hình tổng hợp giọng nói và SDK Voice Agent hoàn chỉnh.

Trong bản demo chính thức, một người dùng yêu cầu bằng tiếng Anh đặt lịch hẹn với bác sĩ da liễu. AI đọc thư giới thiệu bằng tiếng Pháp, gọi hệ thống để tra cứu khung giờ trống, hoàn tất đặt lịch rồi xác nhận lại bằng tiếng Anh. Toàn bộ quá trình được thực hiện qua hội thoại giọng nói thời gian thực.

Voxtral 3 không phải là một mô hình giọng nói lớn đầu-cuối đảm nhận mọi tác vụ. Nó sử dụng thiết kế mô-đun: mô hình phiên âm chịu trách nhiệm nhận diện giọng nói, xác định khi nào người dùng nói xong, các mô hình lớn đa dụng như Mistral Small chịu trách nhiệm suy luận và gọi công cụ, mô hình tổng hợp giọng nói chịu trách nhiệm trả lời. SDK dựa trên LiveKit kết nối các khâu này thành một pipeline thời gian thực, hỗ trợ cuộc gọi điện thoại và cuộc gọi web, đồng thời cho phép người dùng ngắt lời bất cứ lúc nào. Mistral tuyên bố độ trễ tương tác một lượt dưới 1 giây. Nhà phát triển cũng có thể thay thế riêng mô hình suy luận hoặc mô hình giọng nói.

Ngôn ngữ hỗ trợ phiên âm đã mở rộng từ 13 ngôn ngữ ở thế hệ trước lên hơn 50 ngôn ngữ, tổng hợp giọng nói hỗ trợ hơn 35 ngôn ngữ và hơn 50 phương ngữ. Trong bài kiểm tra phiên âm không thời gian thực độc lập của Artificial Analysis, Voxtral Small Transcribe 3 có tỷ lệ lỗi từ là 2,1%, xếp thứ ba, chỉ sau mô hình của Alibaba và Microsoft. Tổng hợp giọng nói xếp thứ 13.

API phiên âm thời gian thực có giá 0,008 USD mỗi phút, tổng hợp giọng nói có giá 13 USD mỗi triệu ký tự. Doanh nghiệp cũng có thể liên hệ Mistral để triển khai trên máy chủ riêng hoặc đám mây riêng.