动察 Beating AI tin nhanh, Wang Yunhe, cựu người phụ trách mô hình lớn Pangu của Huawei, sáng lập Jiyuan Ludong đã mã nguồn mở NeoHorse-Jev-4B, biến NeoHorse-1-4B của mình thành một mô hình quyết định cùng loại Jev. Nó không cần tạo câu trả lời từng chữ một, mà trực tiếp lựa chọn trong vài ứng viên, phán đoán đúng sai hoặc cho điểm, chủ yếu dùng để chọn công cụ cho Agent, thực hiện định tuyến và quyết định hành động tiếp theo.
Phía chính thức đã tổng hợp 6 nhóm đánh giá văn bản như JevBench, Kev, OpenJev. Điểm trung bình gia quyền của NeoHorse-Jev-4B là 77.70, cao hơn 75.67 của Open-Jev với 9B tham số, cũng vượt qua 74.25 của Kev-4B. Tuy nhiên điểm tổng hợp này do Jiyuan Ludong tự tổng hợp, hiện chỉ có 4 mô hình mã nguồn mở có đủ sáu hạng mục thành tích, NeoHorse-Jev cũng chỉ đạt điểm cao nhất ở hai nhóm trong số đó.
Nó dựa trên NeoHorse-1-4B, thông qua suy luận prefill-only trực tiếp tính xác suất của câu trả lời ứng viên, bỏ qua quá trình tạo văn bản từng chữ của mô hình lớn thông thường. Trong thử nghiệm với 1158 yêu cầu văn bản, khi 32 đồng thời, thời gian trung bình mỗi lần quyết định phía máy chủ là 74.3ms; khi 256 đồng thời, thông lượng đạt 347.05 yêu cầu mỗi giây.
Mô hình hỗ trợ đầu vào văn bản và một ảnh đơn, trọng số, mã suy luận và ví dụ triển khai đều đã mở, có thể chạy qua vLLM, SGLang hoặc Runtime cục bộ, sử dụng giấy phép Apache 2.0.
