Động Sát Beating Tin nhanh AI, ngày 19 tháng 11, Volcano Engine chính thức mở API của mô hình âm thanh và video thời gian thực Doubao SeedRealtime 1.0. Mô hình này đã được ra mắt trên ứng dụng Doubao từ tháng 8 năm nay, và giờ đây các nhà phát triển bên thứ ba cũng có thể tích hợp khả năng gọi video thời gian thực này vào sản phẩm của mình.
SeedRealtime đưa hình ảnh camera, âm thanh và thứ tự thời gian vào cùng một mô hình đầu cuối đến đầu cuối. AI có thể vừa quan sát, vừa nghe người dùng nói, đồng thời phán đoán thời điểm nên lên tiếng, giảm độ trễ và mất mát thông tin do việc nối tiếp nhiều mô-đun như nhận dạng giọng nói, hiểu thị giác, tổng hợp giọng nói truyền thống gây ra.
Trong bản demo chính thức, người dùng đổ nguyên hạt cà phê vào tay cầm chiết xuất của máy pha cà phê, AI không đợi câu hỏi mà chủ động nhắc nhở nên xay trước. Khi tham quan bảo tàng, người dùng chỉ cần nói trước muốn tìm hiện vật nào, mô hình có thể liên tục quan sát ống kính và chủ động nhắc nhở khi mục tiêu xuất hiện. Nó còn có thể phân biệt cuộc trò chuyện của nhiều người, tránh bị kích hoạt nhầm bởi những câu chuyện phiếm của người xung quanh trong môi trường ồn ào.
Đánh giá thủ công do ByteDance công bố vào tháng 8 năm nay cho thấy, so với phương án nối tiếp nhiều mô hình, SeedRealtime giảm khoảng một nửa các vấn đề về nhịp điệu hội thoại âm thanh và video, các hiện tượng như chen ngang, phản hồi chậm trễ và kích hoạt nhầm do tiếng ồn nền đã giảm rõ rệt.
