BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Mô hình gọi thoại âm thanh và video Doubao mở API: AI có thể vừa nhìn vừa nghe vừa nói, còn chủ động lên tiếng

Động Sát Beating Tin nhanh AI, ngày 19 tháng 11, Volcano Engine chính thức mở API của mô hình âm thanh và video thời gian thực Doubao SeedRealtime 1.0. Mô hình này đã được ra mắt trên ứng dụng Doubao từ tháng 8 năm nay, và giờ đây các nhà phát triển bên thứ ba cũng có thể tích hợp khả năng gọi video thời gian thực này vào sản phẩm của mình.


SeedRealtime đưa hình ảnh camera, âm thanh và thứ tự thời gian vào cùng một mô hình đầu cuối đến đầu cuối. AI có thể vừa quan sát, vừa nghe người dùng nói, đồng thời phán đoán thời điểm nên lên tiếng, giảm độ trễ và mất mát thông tin do việc nối tiếp nhiều mô-đun như nhận dạng giọng nói, hiểu thị giác, tổng hợp giọng nói truyền thống gây ra.


Trong bản demo chính thức, người dùng đổ nguyên hạt cà phê vào tay cầm chiết xuất của máy pha cà phê, AI không đợi câu hỏi mà chủ động nhắc nhở nên xay trước. Khi tham quan bảo tàng, người dùng chỉ cần nói trước muốn tìm hiện vật nào, mô hình có thể liên tục quan sát ống kính và chủ động nhắc nhở khi mục tiêu xuất hiện. Nó còn có thể phân biệt cuộc trò chuyện của nhiều người, tránh bị kích hoạt nhầm bởi những câu chuyện phiếm của người xung quanh trong môi trường ồn ào.


Đánh giá thủ công do ByteDance công bố vào tháng 8 năm nay cho thấy, so với phương án nối tiếp nhiều mô hình, SeedRealtime giảm khoảng một nửa các vấn đề về nhịp điệu hội thoại âm thanh và video, các hiện tượng như chen ngang, phản hồi chậm trễ và kích hoạt nhầm do tiếng ồn nền đã giảm rõ rệt.

举报 Báo lỗi/Báo cáo
Báo lỗi/Báo cáo
Gửi
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành