OpenAI cựu CTO thành lập công ty mới, phát hành mã nguồn mở mô hình đầu tiên Inkling, kiến trúc tham khảo DeepSeek-V3.

Theo động sát Beating giám sát, Thinking Machines Lab do cựu CTO của OpenAI, Mira Murati, sáng lập, đã phát hành mô hình tổng quát đầu tiên mang tên Inkling. Tổng số tham số của mô hình là 975 tỷ, mỗi lần kích hoạt 41 tỷ, hỗ trợ văn bản, hình ảnh và âm thanh, với ngữ cảnh tối đa lên tới 1 triệu token.

Inkling được huấn luyện từ đầu, nhưng kiến trúc MoE chủ yếu tham khảo DeepSeek-V3. Giai đoạn đầu của quá trình hậu huấn luyện cũng sử dụng dữ liệu được tạo ra từ các mô hình mở như Kimi K2.5. Trọng số đầy đủ đã được đăng tải lên Hugging Face, với giấy phép Apache 2.0.

Thinking Machines thừa nhận rõ ràng rằng Inkling hiện tại không phải là mô hình mạnh nhất. Nó tập trung vào tùy chỉnh và hiệu quả. Khi đạt cùng kết quả trên Terminal Bench 2.1, số token sử dụng chỉ bằng khoảng một phần ba so với Nemotron 3 Ultra của Nvidia.