NVIDIA mã nguồn mở Nemotron 3.5 Lightning: Chuyên dùng để thay thế Agent thực hiện lệnh gọi công cụ

Theo Động Sát Beating giám sát, NVIDIA đã phát hành mô hình mã nguồn mở Nemotron 3.5 Lightning, chuyên đảm nhận các "nhiệm vụ thực thi" cho các Agent chạy dài hạn. Mô hình có tổng tham số 30 tỷ, mỗi Token chỉ kích hoạt 3 tỷ, chủ yếu phụ trách các tác vụ tần suất cao như gọi công cụ, kiểm tra kết quả và điều phối Agent con.

Ý tưởng của NVIDIA là phân công lao động cho Agent triệt để hơn. Việc lập kế hoạch phức tạp giao cho các mô hình lớn như Nemotron 3 Ultra, còn các tác vụ thực thi lặp đi lặp lại với số lượng lớn giao cho Lightning. Theo công bố chính thức, tốc độ đầu ra của mô hình này có thể đạt tối đa gấp 4 lần so với các mô hình cùng cấp. Trên PinchBench, độ chính xác của Lightning đạt 86%, với độ chính xác tương đương, chạy xong 10.000 tác vụ nhanh hơn Qwen3.6 35B 30%.

Mô hình sử dụng kiến trúc MoE, được huấn luyện chuyên biệt cho Agent Harness, đồng thời tích hợp dự đoán đa Token và giải mã suy đoán. Phía chính thức cung cấp trọng số BF16 và NVFP4, có thể chạy trên các thiết bị cục bộ như RTX 5090, DGX Spark, đồng thời hỗ trợ llama.cpp, Ollama, LM Studio và Unsloth.

Mô hình này cũng nhấn mạnh khả năng tùy chỉnh. NVIDIA đã mở trọng số, một phần dữ liệu huấn luyện và công thức huấn luyện, doanh nghiệp có thể tiếp tục huấn luyện hậu kỳ cho các tác vụ như mã nguồn, bảo mật, pháp lý. Trong các trường hợp được phía chính thức trình bày, sau khi huấn luyện hậu kỳ, Lightning đều có sự cải thiện rõ rệt về điểm số trên nhiều tác vụ chuyên môn.