a16z đặt cược vào trợ lý AI cục bộ Underdog: email và lịch đều lưu trên máy tính của chính bạn

Động Sát Beating AI tin nhanh, Conway Research ra mắt trợ lý AI cá nhân Underdog, và nhận được đầu tư từ các tổ chức như a16z, Khosla Ventures. Hiện tại nó có thể chạy trực tiếp trên Mac, kết nối email và lịch của người dùng, giúp tìm email, sắp xếp lịch trình và xử lý các công việc hàng ngày. Mô hình chạy cục bộ, dữ liệu cá nhân không cần phải giao cho AI trên đám mây xử lý nữa, ngay cả khi mất mạng vẫn có thể tiếp tục sử dụng. a16z đã xác nhận dẫn dắt vòng gọi vốn đầu tiên của Conway Research.

Underdog có thể chạy được trên Mac thông thường, một mặt là do mô hình đã đủ nhỏ. Woof hiện được công bố chỉ có 4B tham số, trọng số 4-bit khoảng 2,37GB. Mặt khác, nhóm đã phát triển riêng công cụ suy luận Husky, tối ưu hóa cho Woof và Apple Silicon. Theo thử nghiệm chính thức trên M5 Max, cùng một bộ mô hình đều nhanh hơn MLX trong 16 tác vụ, cao nhất đạt 4,5 lần.

Nhà sáng lập Sigil Wen cho rằng, những công việc hàng ngày như tìm email, sắp xếp tệp, xử lý lịch trình, không cần mỗi lần đều gọi mô hình mạnh nhất trong trung tâm dữ liệu. Mô hình nhỏ chỉ cần đủ năng lực và đủ nhanh, thì có thể trực tiếp tận dụng máy tính của chính người dùng để hoàn thành một lượng lớn tác vụ.

Underdog tiếp theo còn dự định tiến vào iPhone, Windows, Linux, Android và các thiết bị NVIDIA. Wen gọi con đường này là "Underdog's Law": AI tiên tiến mà hôm nay cần trung tâm dữ liệu mới chạy được, khoảng nửa năm sau sẽ có cơ hội tiến vào thiết bị cá nhân.

Nhóm cũng đang nghiên cứu để Agent trực tiếp thay người dùng mua sắm và các tình huống khác, hy vọng cuối cùng biến AI cục bộ thành một Agent cá nhân nắm giữ ngữ cảnh cá nhân lâu dài, trực tiếp thay người dùng xử lý công việc.