Xiaomi ra mắt mô hình OCR 800 triệu tham số mã nguồn mở, có thể đọc bảng phức tạp, trích xuất thông tin và còn trả lời câu hỏi

Động Sát Beating Tin nhanh AI, Xiaomi đã mã nguồn mở Xiaomi-OCR-0, chỉ với 800 triệu tham số, có thể hoàn thành ba loại nhiệm vụ: chuyển văn bản, bảng biểu phức tạp và công thức toán học trong tài liệu thành nội dung có thể chỉnh sửa; trích xuất các trường chỉ định từ hóa đơn, biên lai và giấy tờ tùy thân, xuất ra JSON; còn có thể trả lời câu hỏi dựa trên thông tin trong tài liệu và biểu đồ, không còn chỉ sao chép chữ từ trong ảnh ra nữa.

Mô hình được huấn luyện tiếp dựa trên Qwen3.5-0.8B của Alibaba, sử dụng khoảng 170 triệu mẫu OCR và hiểu tài liệu. Để nâng cao chất lượng dữ liệu, Xiaomi đã cho nhiều mô hình OCR kiểm tra chéo kết quả nhận dạng. Khi gặp bảng biểu và công thức phức tạp, còn render lại kết quả nhận dạng thành hình ảnh, so sánh với ảnh gốc để tìm ra các vấn đề như lệch vị trí, thiếu chữ. Quá trình huấn luyện cũng được chia theo giai đoạn: trước tiên luyện tốt nhận dạng văn bản và phân tích bố cục, sau đó thêm các nhiệm vụ như trích xuất thông tin, hỏi đáp thị giác.

Trong năm bài kiểm tra hỏi đáp thị giác OCR do Xiaomi công bố, Xiaomi-OCR-0 đạt điểm trung bình 83,2, vượt qua Qwen3.5-2B có số tham số gấp 2,5 lần (80,9), tiệm cận mô hình 4B với 84,9. Trong bài kiểm tra phân tích tài liệu Real5 mô phỏng các nhiễu như quét, giấy cong, chụp lại màn hình, khi kết hợp với bộ phát hiện bố cục bên ngoài đạt 95,24 điểm.

Hiện tại trọng số mô hình, mã suy luận, dịch vụ MCP và Agent Skill đều đã được mã nguồn mở. Nhà phát triển có thể tích hợp nó vào AI Agent, đọc ảnh chụp màn hình, PDF và hóa đơn, trích xuất ra dữ liệu có thể trực tiếp giao cho các chương trình khác xử lý.