Google biến ngôn ngữ ký hiệu thành bàn phím nhập liệu: Pixel 11 chỉ cần hướng về camera là có thể gõ chữ.

Theo dữ liệu giám sát từ Beating, Google DeepMind đã công bố mô hình chuyển đổi ngôn ngữ ký hiệu thành văn bản SL2T và tích hợp vào Gboard và Live Transcribe trên Pixel 11. Phiên bản đầu tiên hỗ trợ chuyển đổi ngôn ngữ ký hiệu Mỹ sang tiếng Anh. Người dùng chỉ cần thực hiện ký hiệu trước camera điện thoại là có thể tìm kiếm, soạn tin nhắn, nhập tài liệu, thậm chí đặt câu hỏi trực tiếp cho Gemini.

SL2T được huấn luyện trên hơn 100.000 giờ dữ liệu, bao phủ hơn 50 loại ngôn ngữ ký hiệu, trong đó khoảng một phần tư là ngôn ngữ ký hiệu Mỹ. Điện thoại sẽ trích xuất tọa độ tư thế của bàn tay, khuôn mặt và cơ thể, chỉ gửi tọa độ đến máy chủ để dịch, video gốc sẽ không được tải lên.