Looki ra mắt mô hình hiểu biết cuộc sống Loom: nhận thức, trải nghiệm và bộ nhớ dài hạn được xử lý theo ba tầng

Động Sát Beating Tin nhanh AI, công ty thiết bị đeo AI Looki ra mắt dòng mô hình đa phương thức Loom, có thể sắp xếp cuộc sống hàng ngày được ghi lại bởi camera và micro thành ký ức dài hạn với thời gian, nội dung và bằng chứng gốc, để AI truy xuất bất cứ lúc nào.

Ví dụ, người dùng ăn trưa với đồng nghiệp, trong lúc đó thảo luận về một dự án, cuối cùng quyết định đợi dữ liệu thứ Sáu ra rồi mới quyết định. Loom không chỉ cần nhận ra "ăn cơm" "trò chuyện", mà còn phải ghi lại nội dung thảo luận, quyết định và lý do. Vài ngày sau khi nhắc lại dự án này, AI có thể tìm lại ghi chép lúc đó.

Loom được chia thành ba phần:

Sense (Cảm nhận): Liên tục phán đoán người dùng đang làm gì. Sử dụng mô hình phân biệt được huấn luyện chuyên biệt, trực tiếp chấm điểm các câu hỏi như "có đang dùng bữa không" "có đang trò chuyện không", không cần mỗi lần đều tạo mô tả văn bản. Mô hình còn tham khảo trạng thái của khoảng thời gian trước đó, tránh việc nhận diện hoạt động nhảy loạn do quay người, che khuất.

Moment (Trải nghiệm): Căn chỉnh hình ảnh và âm thanh được thu thập ở các thời điểm khác nhau, tự động phán đoán một trải nghiệm bắt đầu từ đâu, kết thúc ở đâu, và tạo mô tả bao gồm sự kiện then chốt, thời gian và bằng chứng tương ứng. Nó có thể phân chia trải nghiệm dựa trên nội dung cuộc trò chuyện, chứ không chỉ cắt video theo thời lượng cố định.

Memory (Ký ức): Sắp xếp trải nghiệm thành tóm tắt ngày, tuần, tháng và ký ức dài hạn. Khi trả lời câu hỏi, AI có thể tra cứu tóm tắt trước, rồi tìm từng lớp đến trải nghiệm cụ thể, khi cần thiết xem lại hình ảnh hoặc ghi âm gốc để xác minh chi tiết.

Hiện tại, Loom vẫn do nhiều mô hình chuyên dụng và hệ thống truy xuất ký ức phối hợp hoạt động, dự kiến trong tương lai sẽ tích hợp thêm các năng lực này vào một mô hình đa phương thức đầu cuối đến đầu cuối.

Trong tự kiểm tra chính thức, Sense nhận diện gần 20 loại hoạt động hàng ngày, điểm F1 là 88,6, thời gian phán đoán trung bình mỗi lần là 0,51 giây. Moment vượt Gemini Flash trong việc phán đoán thời gian bắt đầu và kết thúc của trải nghiệm, nhưng mô tả văn bản được tạo ra vẫn chưa chính xác bằng mô hình sau. Memory đạt 79,0 điểm, cao hơn mem0 18 điểm, lượng Token xử lý trung bình mỗi câu hỏi chỉ bằng 14,5% của mô hình sau.

Loom sẽ được sử dụng trước tiên cho thiết bị đeo của chính Looki, hiện chưa mở API mô hình độc lập, trọng số mô hình cũng chưa mã nguồn mở.