144M tham số là có thể ra quyết định Agent, Julia-1 thậm chí chạy được trên máy tính bảng Android

动察 Beating AI tin nhanh, phòng thí nghiệm AI Supersonic Labs đã phát hành một mô hình quyết định nhẹ có tên Julia-1 chỉ với 144,3 triệu tham số. Nó không tạo văn bản dài, mà nhận ngữ cảnh, câu hỏi và 2 đến 20 câu trả lời ứng viên, trực tiếp hoàn thành phân loại, chấm điểm và phán đoán đúng sai, có thể giúp Agent chọn công cụ, định tuyến hoặc quyết định hành động tiếp theo.

Julia-1 được phát triển dựa trên mô hình mã hóa đa ngôn ngữ mmBERT-small, trọng số mô hình khoảng 550MB, tập trung vào ngưỡng phần cứng thấp. Chính thức đã hoàn thành thử nghiệm trên Apple M4, Intel i5-1235U và máy tính bảng Android Samsung. Độ trễ trung vị cho một lần quyết định trên M4 là khoảng 33ms; trên máy tính bảng Samsung chỉ chạy bằng CPU là khoảng 203ms, bộ nhớ đỉnh của tiến trình khoảng 393MB.

Trong 4 nhóm thử nghiệm so sánh Jev được công bố chính thức, Julia-1 đã thắng 3 nhóm. Typed Decisions đạt 73,15%, thành tích tham chiếu của Jev là 72,70%; AG News đạt 94% so với 91%; phân loại cảm xúc đạt 86% so với 48%. Nhưng trên Banking77 bao gồm 72 danh mục, Julia-1 chỉ đạt 64%, thấp rõ rệt so với 87% của Jev. Chính thức cho biết, khi có quá nhiều danh mục ứng viên và chúng tương tự nhau, việc sàng lọc theo nhóm hiện tại có thể loại bỏ câu trả lời đúng từ sớm.

Tổng chi phí huấn luyện và thử nghiệm trên GPU đám mây của Julia-1 chỉ khoảng 104 USD. Trọng số mô hình, mã chạy, đánh giá đầy đủ và hồ sơ nguồn đều đã được mở, sử dụng giấy phép Apache 2.0. Chính thức cũng đang phát triển API, dự kiến thu phí 0,025 USD cho mỗi triệu token đầu vào; vì mô hình chỉ đưa ra phán đoán, không tạo văn bản dài, nên token đầu ra không thu phí.