128 hình ảnh A100 từ đầu đã được đào tạo! Mô hình đa dạng toàn diện mã nguồn mở 3B Lance

Theo theo giám sát từ BeatGan, ByteDance (ByteDance Research) đã chính thức công bố mã nguồn mở của mô hình lớn đồng thời đa phương tiện nguyên sinh Lance. Đây là một mô hình nhẹ với chỉ số kích hoạt chỉ 3 tỷ, hỗ trợ hiểu biết, tạo ra và chỉnh sửa hình ảnh và video trong một khung diễn đồ đẳng thời.

Hiện nay, các mô hình đồng nhất phổ biến phụ thuộc mạnh vào việc tăng kích thước tham số hoặc duy trì kiến trúc Transformer, trong khi Lance đã chạy thành công theo hướng dẫn thấp công suất cao. Nhóm phát triển đã huấn luyện mô hình hoàn toàn từ đầu và đã nén ngân sách tính toán tổng cộng của toàn bộ quá trình huấn luyện xuống còn 128 GPU A100.

Để giải quyết mâu thuẫn nội bộ giữa các phương tiện và nhiệm vụ khác nhau, Lance đã thực hiện hai biện pháp cô lập cứng trong kiến trúc:

• Sử dụng kiến trúc Mô đề xuất kép (MoE) để xử lý các chuỗi đa phương tiện xen kẽ, đồng thời giảm đường tính hóa tính toán giữa hiểu biết và tạo ra trong khi chia sẻ ngữ cảnh cơ bản.
• Giới thiệu Mã hóa vị trí xoay nhận thức phương tiện, trực tiếp giảm nhiễu tín hiệu giữa các token thị giác không đồng nhất của ảnh và video.

Nén công suất cực đoan không làm giảm giới hạn hiệu năng. Trong tình huống chỉ có 3 tỷ tham số kích hoạt, khả năng tạo ra và chỉnh sửa hình ảnh và video của Lance đã vượt trội trong hầu hết các bài kiểm tra chuẩn hiện có của mô hình đồng nhất mã nguồn mở, thông qua việc chạy thông qua nhiều nhiệm vụ để thấp kinh phí nhắm tới một lộ trình nhập nhằng tạo ra giữa tham số nhỏ và hiểu biết ý nghĩa.