Mô hình thế giới mới được công bố bởi World Labs của Lý Phi Phi, liệu có thực sự là mô hình thế giới không?

Tiêu đề gốc: 《Mô hình thế giới mới do World Labs của Lý Phi Phi phát hành, có thực sự là mô hình thế giới không?》
Tác giả gốc: Động Sát Beating

Ngày 1 tháng 9, World Labs của Lý Phi Phi đã phát hành Atlas.

Trên trang phát hành có một loạt hình ảnh thực sự đẹp mắt. Vài chiếc điện thoại được đặt trên chân máy và kẹp cố định, quay cùng một hiện trường từ ba đến năm góc độ khác nhau, sau đó thời gian dừng lại, ống kính bắt đầu di chuyển, vòng qua người, tiến đến vị trí mà máy quay thực tế chưa từng đứng.

Hiệu ứng đạn đạo, kỹ thuật này hai năm nay không còn hiếm. Điểm khác biệt nằm ở ba thứ mà Atlas đồng thời đưa ra.

Thứ nhất là depth. Gán cho mỗi pixel trong hình ảnh khoảng cách từ nó đến ống kính, một bức ảnh thông thường biến thành bản đồ địa hình được tô màu theo khoảng cách gần xa.

Thứ hai là point cloud. Rải vài triệu điểm trong không gian, mỗi điểm ghi nhớ tọa độ ba chiều của chính nó, gom lại chính là hình dạng của căn phòng này.

Thứ ba là 3D Gaussian Splat. Nó không dùng mảnh tam giác để dựng mô hình, mà dùng vô số đốm sáng nhỏ có màu sắc, có độ trong suốt, có hướng và có độ dày mỏng để xếp thành toàn bộ cảnh vật, đổi sang bất kỳ góc độ nào cũng có thể kết xuất lại một lần.

Điểm chung của ba thứ này là có thể đo lường. Đường kính của cốc, khoảng cách từ bàn đến tường, đều có thể đọc trực tiếp giá trị từ đó. Kết quả tạo ra không chỉ là hình ảnh cho người xem, mà có thể đưa vào game engine, phần mềm thiết kế, hoặc một đoạn mã điều khiển cánh tay robot.

World Labs thẳng thắn gọi Atlas là bộ mô phỏng thế giới.

Từ mô phỏng này họ không dùng một cách tùy tiện. Ba tháng trước, chính họ đã viết một bài viết, quy định cụ thể hệ thống như thế nào mới xứng đáng với cái tên này.

Nhìn thấy được và chạm được

Bài viết đó được đăng vào tháng 6 năm nay, thảo luận về việc thế nào mới là mô hình thế giới, kết luận chia các hệ thống trên thị trường thành ba cấp: bộ kết xuất, bộ mô phỏng, bộ lập kế hoạch.

Nguồn gốc của cách phân loại này rất lâu đời. Năm 1943, nhà tâm lý học người Anh Kenneth Craik từng nêu một quan điểm, con người có thể nghĩ trước được một việc sẽ diễn biến thế nào, là vì trong đầu có một phiên bản thu nhỏ của thế giới thực. Quan điểm này sau đó được điều khiển học, mạng nơ-ron và học tăng cường tiếp nối, biến thành ba từ: state, observation, action.

Lấy một căn bếp để nói.

Chiếc cốc đặt ở vị trí nào trên bàn, cách mép bàn bao nhiêu centimet, bàn cách tường bao xa, cửa mở hay đóng, tất cả những điều này cộng lại chính là trạng thái (state) của căn bếp tại thời điểm này.

Người đứng ở cửa chỉ nhìn thấy một phần của trạng thái. Phần sàn bị tủ lạnh che khuất thì không thấy được, trong cốc còn bao nhiêu nước cũng không biết. Phần thông tin mà mắt người đó thu nhận được gọi là quan sát (observation).

Anh ta bước tới đẩy chiếc cốc ra, đó là hành động (action).

State, observation, action, một hệ thống quản lý được bao nhiêu thứ trong số đó sẽ quyết định nó thuộc cấp độ nào.

Renderer quản lý hình ảnh. Người tiến lên một bước, nó tính toán xem bước đó nên thấy gì, vẽ giống thật, khớp với khung hình trước đó, là xong việc. Chiếc cốc cao bao nhiêu, bàn cách tường bao xa, nó không cần biết, vì thứ nó đưa ra chỉ là một bức tranh.

Simulator quản lý trạng thái. Vị trí của chiếc cốc, kích thước của chiếc bàn, cửa mở đến mức nào sẽ va vào tường, những con số này nó phải lưu trữ liên tục, có thể gọi ra bất cứ lúc nào. Cũng chính vì lưu trữ những con số này, các chương trình khác mới kết nối được vào, một cánh tay robot mới có thể thò vào căn bếp này.

Planner quản lý hành động. Nó không chỉ biết chiếc cốc ở trên bàn, đụng ngã sẽ ra sao, mà còn phải phán đoán xem lúc này có nên đưa tay ra không, lấy cái nào trước, từ góc độ nào ra tay là vững nhất.

Theo tiêu chuẩn này, Genie 3 của Google DeepMind bị xếp vào cấp thấp nhất, chỉ là một renderer. Cùng bị xếp vào đó còn có RTFM do chính World Labs phát hành vào tháng 10 năm 2025.

Trước đó, thuật ngữ "mô hình thế giới" gần như có thể chứa đựng mọi thứ. Nhập một câu lệnh, tạo ra một đoạn hình ảnh có thể bước vào, là mô hình thế giới. Đổi khẩu hiệu trên trang chủ thành dùng AI mô phỏng thế giới, cũng là mô hình thế giới. Bài viết này lần đầu tiên vạch ra một ranh giới, hình ảnh thuộc về hình ảnh, thế giới thuộc về thế giới.

Phần lớn các bản demo trong năm qua dừng lại ở cấp độ thứ nhất. So với việc tạo video thuần từ văn bản, chúng thực sự tiến bộ một bước dài, nhấn phím mũi tên, hình ảnh sẽ thay đổi theo.

Nhưng thứ mà renderer đưa ra, con người nhìn thì đủ dùng, máy móc lại không dùng được.

Atlas cần đạt tới cấp độ của simulator. Theo định nghĩa của chính họ, simulator phải duy trì toàn bộ trạng thái của thế giới này, vật lý cũng nằm trong đó.

Các bài kiểm tra hiện được công bố tập trung vào tạo sinh có điều kiện từ camera và tái tạo 3D, các tương tác đa vật lý như vật liệu phức tạp, chất lỏng, vải vóc vẫn chưa được giải quyết, toàn ngành cũng chưa giải quyết được.

Tên kỹ thuật của Atlas là multimodal autoregressive diffusion transformer, bốn từ tách riêng ra đều không có gì mới lạ.

Transformer và autoregressive là bộ công nghệ của các mô hình ngôn ngữ lớn, nhìn vào nội dung đã tạo ra rồi tiếp tục nối dài từng cái một. Diffusion là bộ công nghệ tạo hình ảnh và video, hình ảnh do nó vẽ ra. Multimodal có nghĩa là nó đồng thời tiếp nhận nhiều loại đầu vào.

Điểm mới nằm ở chỗ multimodal cụ thể bao gồm bốn loại: văn bản, hình ảnh, tư thế camera và bản đồ độ sâu.

Tư thế camera mô tả vị trí camera trong không gian ba chiều và hướng nó hướng tới khi chụp bức ảnh đó, sáu con số là ghi rõ ràng. Kết hợp với bản đồ độ sâu, mỗi bức ảnh không còn là một hình ảnh cô lập, mà là một bức ảnh đã được đánh dấu vị trí chụp.

Tất cả các bức ảnh được đánh dấu trên cùng một hệ tọa độ, hệ tọa độ này chính là shared spatial context của Atlas, ngữ cảnh không gian dùng chung.

Ví dụ, đứng ở cửa phòng khách chụp một bức ảnh chiếc ghế sofa, rồi đi đến bên cửa sổ chụp một bức nữa. Chiếc sofa trong hai bức ảnh có kích thước khác nhau, góc độ khác nhau, và một nửa bị bàn trà che khuất. Mô hình thông thường nhìn thấy hai bức ảnh khác nhau. Con người nhìn thấy cùng một chiếc sofa, vì con người biết mình đã đi mấy bước, xoay bao nhiêu độ.

Atlas nhận được chính là dữ liệu "đi mấy bước, xoay bao nhiêu độ" này.

Dữ liệu này còn có một công dụng khác, sản phẩm thế hệ trước của World Labs là RTFM đã thử nghiệm. Mục tiêu của nó là tạo ra theo thời gian thực trên một chiếc H100 một thế giới có thể khám phá liên tục. Tiến về phía trước thì nó tạo ra phía trước, rẽ hướng thì góc nhìn thay đổi theo. Vấn đề nằm ở bộ nhớ.

Giả sử có người dạo quanh ngôi nhà ảo này nửa giờ. Nếu nhồi toàn bộ hình ảnh tạo ra trong nửa giờ đó vào ngữ cảnh, mô hình quả thực sẽ không quên gì, nhưng ngữ cảnh càng chồng chất dài, sức tính toán sẽ không chịu nổi trước. Nếu chỉ giữ lại vài chục khung hình gần nhất, sức tính toán tiết kiệm được, nhưng đi vòng quanh từ phòng ngủ trở lại phòng bếp, mô hình đã không nhớ chiếc bàn đặt ở đâu hai mươi phút trước, cùng một căn bếp sẽ bị tạo ra thành hai phiên bản khác nhau.

Cách làm mà World Labs dùng cho RTFM gọi là posed frames as spatial memory. Mỗi khung hình ngoài hình ảnh còn lưu trữ vị trí và hướng của camera trong không gian khi chụp nó. Khi mô hình di chuyển đến một vị trí nào đó, hệ thống không cần lật lại toàn bộ ký ức, mà chỉ lấy vài khung hình gần nhất theo vị trí, ghép lại thành ngữ cảnh cần thiết cho lần tạo ra này.

Vị trí ở đây đóng vai trò là chỉ mục. Muốn biết nhà bếp trông như thế nào, chỉ cần tìm ra những khung hình quay gần nhà bếp là đủ, thời điểm chúng được quay không quan trọng.

Trí nhớ của con người thực ra cũng theo cách này. Bảo bạn nhớ lại chiều thứ Tư tuần trước đã làm gì, phần lớn sẽ không nhớ ra, nhưng khi bước vào phòng họp đó, ai ngồi đối diện, trên bảng trắng viết gì, thì nhanh chóng khớp lại được. Tra cứu theo thời gian phải đếm từ đầu, tra cứu theo địa điểm thì một bước là xong.

Tái tạo và sinh tạo

Trang phát hành của Atlas còn có một thí nghiệm. Đầu tiên chỉ đưa một bức ảnh khu vườn, để mô hình tạo ra hình ảnh nhìn từ trên cao xuống. Trong ảnh chỉ có khu vườn, xung quanh trông thế nào không được chụp, nên phần khu vườn được tái tạo trung thực, còn các tòa nhà bên cạnh được bù đắp bằng kiến thức thông thường mà nó đã thấy trong dữ liệu huấn luyện.

Bức ảnh thứ hai chụp được căn nhà nhỏ bên cạnh, phần này không cần bù nữa. Bức thứ ba lộ ra căn nhà, chỗ cần bù lại ít đi một phần.

Tổng kết của World Labs là, the more it sees, the less it imagines. Theo dữ liệu họ đưa ra, hai ba bức ảnh thường đủ để tái tạo cảnh vật ở mức dùng được, mỗi lần có thể đưa vào tối đa hơn một trăm bức.

Thí nghiệm này đưa hai việc vốn tách biệt rõ ràng vào cùng một mô hình.

Muốn có một cảnh ba chiều trong máy tính, trước đây có hai con đường. Một gọi là tái tạo, dùng ảnh chụp tại hiện trường, tái hiện nguyên trạng một nơi có thật, góc nào không chụp được thì để trống, thà để một lỗ hổng. Một gọi là sinh tạo, mô hình dựa trên những ngôi nhà và bãi cỏ đã thấy khi huấn luyện, tạo ra một nơi chưa từng tồn tại.

Atlas chiếm cả hai đầu. Chỗ chưa chụp được thì bù theo kiến thức thông thường, khi ảnh mới được bổ sung, lại thay phần bịa đặt đó bằng phần thật. Ít ảnh thì bịa nhiều, nhiều ảnh thì bịa ít.

Tôi luôn rất thích một dự án tên là Funes World. Họ mang máy ảnh đi khắp thế giới chụp các công trình kiến trúc, Pompeii, Troy, Nhà thờ lớn Cologne, Điện Thiên Niên ở Thiên Đàn, cũng chụp những ngôi nhà không nổi tiếng, kiểu sau khi cải tạo một ngày nào đó thì không ai còn nhớ nguyên trạng ra sao. Họ đi vòng quanh tòa nhà, chụp từ nhiều hướng, giữa các bức ảnh chừa đủ phần chồng lấn, rồi dùng photogrammetry, NeRF, Gaussian Splatting ghép lại thành mô hình ba chiều. Kho lưu trữ công khai hiện có hơn 2100 mô hình, phủ trên 19 quốc gia.

Họ nói mình đang tạo bản sao lưu cho thế giới thực, làm một GitHub cho thế giới vật lý.

Funes đi theo con đường tái tạo thuần túy. Họ chụp ảnh trước khi xe ủi đất tiến tới, muốn ngôi nhà đó thực sự trông đúng như vậy. Dù thiếu một mảnh, cũng không để mô hình thay thế bù vào.

Atlas đối mặt với một loại người dùng khác. Một bức tường trong bếp, chỉ cần vị trí và kích thước khớp nhau, kết quả khi cánh tay robot vươn tới va chạm là giống nhau, hoa văn trên tường là chụp thật hay dựng giả thì cánh tay robot không quan tâm.

Vì vậy, vấn đề rơi vào một nơi khác. Một thế giới có một phần dựa trên dựng giả, liệu có thể dùng để huấn luyện một cỗ máy phải làm việc trong thực tế hay không. Còn việc ngôi nhà dựng ra có giống thật hay không, ở đây có thể tạm gác lại.

Vào tháng 7, World Labs mua lại công ty robot SceniX. Kết quả đầu tiên công bố sau thương vụ mua lại, trả lời chính xác câu hỏi này.

Một số nhóm robot được huấn luyện hoàn toàn trong môi trường mô phỏng, không sử dụng một dữ liệu thực tế nào, sau đó được lắp trực tiếp lên cánh tay robot thật, thực hiện các nhiệm vụ đóng thùng, quấn dây, vận chuyển ống nghiệm. Trong số đó, vài robot vận hành tự động liên tục trong 1 giờ, không có sự can thiệp của con người giữa chừng.

Điều đáng chú ý hơn là cách họ đánh giá liệu môi trường mô phỏng này có đạt chuẩn hay không.

Có một tiêu chuẩn nghe rất tự nhiên: tỷ lệ thành công trong mô phỏng là 80%, thì trên robot thật cũng phải là 80%. Tiêu chuẩn này họ không dùng. Ma sát của bức tường trong mô phỏng khác với tường thật, phân bố trọng lượng của linh kiện cũng không khớp, tỷ lệ thành công chắc chắn sẽ chênh lệch một khoảng.

Họ đổi sang cách làm này. Đầu tiên, trong môi trường mô phỏng, chạy mỗi phương án 2000 lần, xếp hạng theo hiệu suất, sau đó đưa các phương án này lên robot thật, mỗi phương án chạy 100 lần, rồi chỉ so sánh hai điều. Trong mô phỏng, phương án A tốt hơn phương án B, trên robot thật có đúng như vậy không; mô phỏng nói rằng một thao tác nào đó dễ thất bại nhất ở bước nào, robot thật có thất bại ở đúng bước đó không.

Trong các nhiệm vụ được công bố, cả hai điều này đều khớp. Còn việc tỷ lệ thành công giữa hai bên chênh lệch bao nhiêu thì không cần quan tâm. Theo cách nói của World Labs, một môi trường mô phỏng hữu ích không cần có tỷ lệ thành công giống hệt thực tế, chỉ cần hỗ trợ các quyết định giống như thực tế.

Cách làm này đã có người sử dụng từ hơn một trăm năm trước.

Mùa thu năm 1901, anh em nhà Wright chế tạo tàu lượn dựa trên dữ liệu cánh máy bay do Lilienthal công bố, lực nâng thực tế chỉ bằng một phần ba giá trị dự đoán. Dữ liệu của người đi trước có vấn đề, nhưng muốn đo lại thì phải đưa người lên trời từng lần một. Vì vậy, họ làm một ống gió dài sáu feet bằng gỗ, một buổi chiều có thể thử nhiều bộ cánh, một mùa đông thử hơn 100 loại.

风洞里那点风和北卡罗来纳的海风不是一回事，但哪副机翼更好是能比较出来的。

世界模型不必复制整个宇宙。它只需要留住和决策有关的那部分结构。

Thất bại là bài học

Đến bước này, đường nét kinh doanh của World Labs đã hiện rõ. Sản phẩm Marble mà họ ra mắt năm 2025 đã có thể tạo ra thế giới ba chiều có thể khám phá từ văn bản, hình ảnh và video. Sau khi World API được mở, các nhà phát triển có thể gọi trực tiếp, còn Atlas là lớp mô hình nằm bên dưới các sản phẩm này.

Trong vòng gọi vốn 1 tỷ USD vào tháng 2 năm nay, các công ty đầu tư rất đa dạng. NVIDIA cần Physical AI, Autodesk cần kiến trúc, thiết kế công nghiệp và bản sao kỹ thuật số, ngoài ra còn có AMD, Fidelity và Sea. Cùng một thế giới ba chiều, đạo diễn quan tâm đến góc máy và ánh sáng, kiến trúc sư quan tâm đến kết cấu và tỷ lệ, còn robot cần một môi trường để thử nghiệm.

Một thế giới chỉ cần đủ phổ quát là có thể vượt qua nhiều ngành công nghiệp phần mềm vốn đang tách biệt nhau hiện nay.

Còn việc nhồi nhét các công ty tự nhận đang làm mô hình thế giới vào cùng một bảng benchmark đã không còn ý nghĩa nữa.

Genie 3 đang tạo ra hình ảnh, Meta's V-JEPA 2 thì không vẽ hình ảnh mà trực tiếp học quy luật từ video, NVIDIA's Cosmos đưa suy luận thị giác, tạo thế giới và dự đoán hành động vào cùng một mô hình, Runway chuyển từ tạo video sang mô phỏng. Dùng cùng một thuật ngữ, nhưng không giải cùng một bài toán.

Chỉ có một điểm khác biệt. Một phe tin rằng nếu dự đoán thế giới đủ tốt, cấu trúc ba chiều sẽ tự mọc ra từ dữ liệu, vì video vốn đã chứa những quy luật này. Phe còn lại nhét trực tiếp vị trí camera, hình học và ràng buộc vật lý vào mô hình, để thế giới mang cấu trúc ngay từ ngày đầu. Atlas làm điều này bằng cách đưa tư thế camera và độ sâu thành đầu vào gốc.

Trên con đường này có một điều không thể tránh khỏi: dữ liệu huấn luyện từ đâu ra.

Mô hình ngôn ngữ lớn từng nhận được một món quà. Trong nhiều thập kỷ, con người viết trang web, viết mã, cãi nhau trên diễn đàn, vô tình tích lũy một kho ngữ liệu khổng lồ.

Thế giới ba chiều không có thứ đó. Mối quan hệ không gian hiếm khi được ghi lại một cách hệ thống, hệ số ma sát của một tấm sàn sẽ không tự viết vào trang web. Khó hơn nữa là tương tác. Robot cắm dây lệch, trong thực tế sợi dây đó thực sự bị lệch, trước lần thử tiếp theo, phải có người đến chỉnh lại. Văn bản có thể sao chép vô hạn, còn kinh nghiệm trong thực tế mỗi lần đều phải diễn ra lại từ đầu.

Vì vậy, thứ mà robot thiếu nhất trong quá khứ thực ra là sự thất bại. Trong thực tế, phạm sai lầm quá đắt đỏ, nhưng một khi mô phỏng hoạt động tốt, robot có thể chạy hàng nghìn, hàng vạn lần bên trong để nhanh chóng tích lũy kinh nghiệm.

Lý Phi Phi đã gắn bó với vấn đề này gần 20 năm.

Năm 2009, cô và nhóm của mình tạo ra ImageNet, sắp xếp lại những hình ảnh rải rác trên internet theo hệ thống khái niệm của WordNet. Chỉ mục hoàn chỉnh có 14,19 triệu hình ảnh và 21.841 synset, nhưng ILSVRC, thứ sau này tạo nên cuộc bùng nổ học sâu, chỉ sử dụng 1.000 lớp trong số đó. Bài toán của thế hệ thị giác máy tính đó rất đơn giản: đưa cho máy một bức ảnh, yêu cầu nó nói ra bên trong có gì, thuộc loại nào, nằm ở vị trí nào trong khung hình.

Mười bảy năm trôi qua, bài toán này từ lâu đã không còn là vấn đề. Chiếc cốc trong căn bếp phía trước, mô hình ngày nay không chỉ nhận ra nó mà còn có thể tạo ra 100 chiếc cốc chưa từng tồn tại từ hư không.

Điều khó khăn giờ đây là chiếc cốc đó nằm ở vị trí nào trong căn phòng, khi đi vòng ra sau bàn để quan sát lại thì nó có còn là chiếc cốc đó không, nếu ai đó đẩy nó đi, lần nhìn tiếp theo nó nên ở đâu và ở trạng thái nào. Nhận ra một vật thể và biết cách vật thể đó tồn tại trong thế giới là hai chuyện hoàn toàn khác nhau.

Từ ImageNet đến Atlas, có một đường liên tục bất ngờ: con người phải nhồi bao nhiêu thông tin về thế giới vào máy móc để nó tự hình thành thế giới của riêng mình.

Năm 1940, nhà văn Argentina Adolfo Bioy Casares đã viết một cuốn tiểu thuyết, "Phát minh của Morel".

Nhân vật chính trốn đến một hòn đảo hoang và gặp một nhóm người kỳ lạ. Những người này mỗi ngày đi dạo, trò chuyện, nhảy múa, mọi thứ trông có vẻ bình thường, nhưng không ai có thể nhìn thấy anh ta. Kỳ lạ hơn nữa, cùng một đoạn trò chuyện sẽ lặp lại y hệt vài ngày sau, ngay cả chỗ ngừng cũng không sai một chút.

Sau đó anh ta mới biết, nhà khoa học Morel trên đảo đã chế tạo một cỗ máy ghi lại trọn vẹn một tuần của một nhóm người trên đảo. Âm thanh được ghi lại, hình ảnh được ghi lại, Morel tin rằng cả xúc giác, mùi vị và nhiệt độ cũng được giữ nguyên. Cỗ máy chạy bằng thủy triều, và tuần đó được phát lặp đi lặp lại trên đảo.

Morel tin rằng, khi mọi giác quan đồng bộ, linh hồn sẽ xuất hiện.

Cỗ máy được viết ra hơn tám mươi năm trước đã rất giống một mô hình đa phương thức phóng đại đến mức phi lý. Nó lưu giữ toàn bộ bằng chứng giác quan của thực tại, tạo ra một bản sao mà bất kỳ người quan sát nào cũng không thể phân biệt thật giả.

Nhân vật chính yêu người phụ nữ Faustine trong hình chiếu. Anh mỗi ngày đứng trước mặt cô để trò chuyện, mong cô có thể nhìn thấy mình. Cô chưa từng hồi đáp một lần nào, bởi vì tuần lễ mà cô đang sống đã được ghi hình từ lâu. Cỗ máy có thể phát lại tuần lễ đó cả vạn lần, nhưng không thể phát ra một sự việc chưa từng xảy ra vào thời điểm đó.

Theo bảng đánh giá của chính World Labs, thứ Morell chế tạo là một cỗ máy kết xuất hoàn hảo.

Các mô hình ngày nay đã có thể tái hiện một địa điểm đến mức không thể chê vào đâu được. Điều khó khăn là sự việc chưa từng được ai ghi hình lại, có người bước vào, đưa tay ra, và làm đổ chiếc cốc trên bàn.

Trên đảo của Morell có đủ mọi thứ, chỉ thiếu đúng khoảnh khắc ấy.

-****HẾT-

Liên kết bài viết gốc

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia