a16z: Tổng quan về hệ sinh thái thị trường kết hợp lĩnh vực trò chơi và AI sáng tạo

Tiêu đề gốc: "Cuộc cách mạng AI sáng tạo trong trò chơi"

Tác giả gốc: James Gwertzman, Jack Soslow

Bản tổng hợp gốc: Ghi chú nghiên cứu của Alpha Rabbit

A16Z gần đây đã viết một bài báo rất thú vị, nói về những gì họ nghĩ là sự kết hợp giữa AI và trò chơi. ? Tác giả có chú thích một số nội dung sau khi dịch. Phần đầu tiên của bài viết đã được xuất bản, xem: " A16Z | Cơ hội cho AI sáng tạo trong chơi game (giả định thị trường + dự báo) ", bài viết này là phần thứ hai, bao gồm nhận định của A16Z về hệ sinh thái thị trường trong lĩnh vực trò chơi + AI tổng quát (xin lưu ý: hầu hết trong số này là Danh mục đầu tư của A16Z, vui lòng đọc với thái độ khách quan và hợp lý).

Tổng quan về sinh thái thị trường

Hình dưới đây cho thấy hệ sinh thái thị trường tổng thể, mô tả các công ty khởi nghiệp được A16Z phát hiện theo nhiều danh mục khác nhau. Trong các dự án cụ thể này, chúng ta thấy sự phát hiện ra trí tuệ nhân tạo tổng hợp Liên quan đến tác động của trí thông minh (AIGC) đến trò chơi, bài viết này sẽ giới thiệu các công ty và cơ hội đặc biệt nhất trong mỗi danh mục.

Sử dụng Văn bản tạo ra hình ảnh phẳng (Hình ảnh 2D)

Tạo hình ảnh 2D từ lời nhắc văn bản, công thức đã được đã tạo ra Một trong những lĩnh vực ứng dụng rộng rãi nhất của trí tuệ nhân tạo. Các công cụ như Midjourney, Stable Diffusion và Dall-E 2 có thể trực tiếp tạo ra hình ảnh 2D chất lượng cao từ mô tả văn bản và chúng được sử dụng ở nhiều giai đoạn trong suốt vòng đời sản xuất và phát triển trò chơi.

(Lưu ý: Đây là lời giải thích rằng Midjourney cũng là một AI tương đối dễ sử dụng trình tạo hình ảnh. Nó dễ sử dụng hơn. Hãy bắt đầu, tốc độ tạo hình ảnh rất nhanh, bạn có thể tạo ra 4 bức ảnh trong 1 phút)

Concept Art (Concept Art)

(Lưu ý: Concept art còn có thể gọi là thiết kế sơ bộ, thường là trong phim ảnh, truyền hình. Hay còn có khái niệm thiết kế chuyên nghiệp này trong ngành game, nói chung là đề cập đến việc thiết lập tông màu cho hiệu ứng hình ảnh của sản phẩm, có thể nói là một. nội dung tác phẩm cốt lõi ban đầu của trò chơi hoặc bộ phim. Thông qua các ý tưởng và hướng thiết kế mới (bao gồm hình dáng, tinh thần, ý tưởng, v.v.), đổi mới hoặc thậm chí phá bỏ các phương pháp trước đây và tạo ra các nhân vật hoặc khái niệm mang phong cách mới.

Sự khác biệt giữa nó và minh họa là gì? Mối quan hệ giữa họa sĩ minh họa và trò chơi thiên về việc giúp họ vẽ áp phích, bìa bao bì, v.v. Một trong những công việc nghệ thuật 2D thực sự liên quan chặt chẽ đến phát triển phim, truyền hình và trò chơi là cái mà chúng tôi gọi là Concept Art. Nó khác với truyện tranh như thế nào? Concept Art rất khác với truyện tranh. Truyện tranh (manga) là một hệ thống độc lập ở Nhật Bản và chúng phục vụ nhiều hơn cho việc hình dung các tiểu thuyết nhẹ phổ biến. Mặt khác, Concept Art phục vụ trò chơi và hoạt hình, không bị giới hạn về phong cách và cách thể hiện, điều cực kỳ quan trọng là tạo ra thứ gì đó nâng cao hoặc một bộ cài đặt hoàn chỉnh. Sự khác biệt so với bức tranh gốc là gì? Concept Art bao gồm hầu hết mọi hoạt động tạo hình nhân vật và cảnh vật, điểm khác biệt so với nghệ sĩ gốc là người thiết kế ý tưởng phải chủ động tạo ra những thiết kế thú vị hơn.

Concept Art khác với nghệ sĩ gốc. Trong các dự án trò chơi và hoạt hình, nó đóng vai trò ra quyết định mang tính nghệ thuật chỉ đứng sau người lập kế hoạch chính, xác định phong cách của dự án và khán giả, vì vậy một họa sĩ muốn trở thành một nghệ sĩ khái niệm sẽ không đủ năng lực nếu anh ta bị giới hạn trong một phong cách hội họa. )

Tài liệu tham khảo: Tài khoản công cộng Yishajun: đầy đủ nhất trong lịch sử! ConceptArt phân tích chuyên nghiệp của Said Chia sẻ của Yufei Zhang, chuyên ngành Concept Art tại trường đại học--2020-02-04 18:00

Các công cụ trí tuệ nhân tạo sáng tạo đang hỗ trợ trong trò chơi thiết kế Sẽ hữu ích hơn khi khám phá các khái niệm trò chơi và truyền cảm hứng cho các ý tưởng với một nhân vật như giáo viên. Đây cũng là một phần quan trọng của quá trình sản xuất, ví dụ: một studio chơi game đang sử dụng công cụ trên để tăng tốc đáng kể quá trình phát triển ý tưởng nghệ thuật của họ, vì họ có thể tạo hình ảnh chỉ trong một ngày, so với trước đây, quá trình này mất tới 3 tuần, nhưng nó hoạt động như thế nào?

Đầu tiên, các nhà thiết kế trò chơi sử dụng Midjourney để khám phá những nguồn cảm hứng khác nhau và tạo ra những gì họ thấy phù hợp với hình ảnh Concept. Sau đó, các hình ảnh này được chuyển cho một nghệ sĩ ý tưởng chuyên nghiệp, người này có thể kết hợp chúng để tạo ra một hình ảnh gắn kết về một chủ đề liên quan, sau đó được đưa vào Stable Diffusion để tạo thành một loạt các biến thể hình ảnh.

Mọi người sẽ thảo luận về các phong cách hình ảnh khác nhau này, sau đó quyết định chọn một phong cách và sử dụng cọ vẽ để vẽ thủ công Chỉnh sửa, sau đó tiếp tục lặp lại quy trình cho đến khi mọi người hài lòng với kết quả. Ở giai đoạn này, hình ảnh cuối cùng được tải lên Stable Diffusion để tạo ra tác phẩm nghệ thuật cuối cùng.

Nghệ thuật sản xuất 2D

Các studio trò chơi khác đang cố gắng sử dụng các công cụ trí tuệ nhân tạo tương tự để tạo ra các tác phẩm nghệ thuật trong trò chơi. Ví dụ: hình ảnh bên dưới là từ hướng dẫn của Albert Bozesan về cách sử dụng Khuếch tán ổn định để tạo nội dung 2D trong trò chơi.

Nguồn :https://www.youtube.com/watch?v=blXnuyVgA_Y

Tác phẩm nghệ thuật 3D

Mô-đun âm thanh nổi 3D là một khối xây dựng quan trọng cho tất cả các trò chơi hiện đại và Metaverse sắp ra mắt. Thế giới ảo và cấp độ trò chơi về cơ bản là một tập hợp các nội dung 3D, có thể được lấp đầy trong môi trường trò chơi bằng cách sửa đổi các tham số khác nhau thông qua các kết hợp và phương pháp sắp xếp khác nhau. Việc tạo các phần tử 3D phức tạp hơn việc tạo sơ đồ tầng 2D và bao gồm nhiều bước, bao gồm nhu cầu tạo mô hình 3D, thêm họa tiết và hiệu ứng. Đối với các nhân vật hoạt hình, nó cũng liên quan đến việc tạo một "đường viền" bên trong và sau đó tạo hoạt ảnh ở trên đường viền.

Chúng tôi nhận thấy rằng có nhiều công ty khởi nghiệp khác nhau đang tìm kiếm thông tin về các giai đoạn khác nhau của quy trình tạo nội dung 3D . Các cơ hội bao gồm tạo mô hình, hoạt hình nhân vật, sản xuất cấp độ và hơn thế nữa. Tuy nhiên, phần kinh doanh và đổi mới này vẫn đang được khám phá.

Tài sản 3D

Các công ty khởi nghiệp đang cố gắng hướng tới việc tạo mô hình 3D bao gồm Kaedim, Mirage và Hypothetic. Các công ty lớn cũng đang xem xét vấn đề này, bao gồm Get3D của Nvidia và ClipForge của Autodesk. Kaedim và Get3d tập trung vào chuyển đổi hình ảnh sang mô hình 3D; ClipForge và Mirage tập trung vào chuyển đổi văn bản sang 3D, trong khi công ty Hypothetic quan tâm đến cả văn bản sang tìm kiếm 3D cũng như hình ảnh sang 3D.

Công ty Kaedim: Có trụ sở chính tại London, công ty chủ yếu tạo mô hình 3D từ hình ảnh 2D.

Ảo ảnh : https://www.mirageml.com/

Hoạ tiết 3D

Nếu trong trò chơi, mô hình 3D có thể được sử dụng trên các vật liệu hoặc kết cấu dạng lưới thì mô hình đó có thể trông thực tế hơn. Ví dụ, sử dụng các loại đá phong hóa có rêu khác nhau trên mô hình lâu đài thời Trung cổ có thể thay đổi hoàn toàn diện mạo của khung cảnh. Các họa tiết được đề cập ở đây chứa siêu dữ liệu về phản ứng của ánh sáng với vật liệu (tức là độ nhám, độ bóng, v.v.). Nghệ sĩ có thể dễ dàng tạo họa tiết dựa trên lời nhắc bằng văn bản hoặc hình ảnh, điều này rất có giá trị để tăng tốc độ lặp lại trong quá trình sáng tạo . , các công ty như BariumAI, Ponzu và ArmorLab đang hoạt động trong không gian này.

BariumAI :https://barium.ai/

Ponzu:https://www.ponzu.gg/

Hoạt hình

Việc sản xuất phim hoạt hình xuất sắc là việc tốn nhiều thời gian, tốn kém nhất và là một trong những công việc Phần khó nhất, một trong những cách để giảm chi phí và tạo ra những hình ảnh động chân thực hơn, là sử dụng tính năng ghi chuyển động, bao gồm việc đưa các diễn viên hoặc vũ công mặc bộ đồ ghi lại chuyển động và sử dụng thiết bị chuyên dụng để ghi lại chuyển động của họ.

Chúng tôi nhận thấy rằng trí tuệ nhân tạo tổng hợp hiện nay có thể ghi lại hình ảnh động trực tiếp từ video. Điều này hiệu quả hơn vì nó loại bỏ nhu cầu sử dụng thiết bị ghi chuyển động đắt tiền và có nghĩa là chúng ta có thể ghi lại hoạt ảnh từ video hiện có.

Một điểm thú vị khác của mô hình trí tuệ nhân tạo là nó có thể được sử dụng để lọc các hoạt ảnh hiện có và thêm các hiệu ứng đặc biệt mới, chẳng hạn như tạo giao diện nhân vật hoạt hình chỉ bằng một cú nhấp chuột say rượu, hay già, hay hạnh phúc. Các công ty trong lĩnh vực này bao gồm Kinetix, DeepMotion, RADiCAL, Move Ai và Plask.

Kinetix

DeepMotion

RADiCAL

Thiết kế đẳng cấp và xây dựng thế giới

Một trong những khía cạnh tốn nhiều thời gian nhất của việc tạo trò chơi là xây dựng thế giới trò chơi và AI có thể tạo ra có thể được sử dụng cho Nhiệm vụ này. Các trò chơi như Minecraft, No Man's Sky và Diablo nổi tiếng với các cấp độ được tạo theo thủ tục, trong đó các cấp độ được tạo ngẫu nhiên và khác nhau mỗi lần nhưng tuân theo các quy tắc do người thiết kế cấp độ đặt ra. Một trong những điểm bán hàng lớn của Công cụ trò chơi Unreal 5 mới là bộ sưu tập các công cụ quy trình dành cho thiết kế thế giới mở, chẳng hạn như vị trí của những chiếc lá.

Các công ty như Promethean, MLXAR hay Meta's Builder Bot đều đã nhìn thấy những cơ hội phát triển công nghệ AI. Đã có nghiên cứu học thuật trong lĩnh vực này được một thời gian, bao gồm cả kỹ thuật tạo của Minecraft hoặc thiết kế cấp độ của Doom.

Tại sao các công cụ trí tuệ nhân tạo tổng hợp lại có tiềm năng được sử dụng trong thiết kế cấp độ trò chơi? Bởi vì AI có khả năng tạo ra các phong cách cấp độ và thế giới trò chơi khác nhau. Bạn có thể tưởng tượng việc sử dụng các công cụ để nhanh chóng tạo ra một thế giới trò chơi ở New York vào những năm 1920, hoặc một thiết kế Blade Runner đen tối bí ẩn hoặc một thế giới giả tưởng kiểu Tolkienian (tương tự như thiết kế và cảnh quan của Chúa tể những chiếc nhẫn) ( so với lưỡi dao đen tối- tương lai của người chạy bộ, so với thế giới giả tưởng của Tolkien.).

Các khái niệm sau được Midjourney tạo ra bằng cách sử dụng lời nhắc để tạo ra các kiểu cấp độ khác nhau trong trò chơi:

Âm thanh

Âm thanh và nhạc nền là một phần quan trọng trong trải nghiệm chơi trò chơi. Hiện tại, các công ty đang bắt đầu sử dụng AI tổng quát để tạo ra âm thanh nhằm bổ sung cho nỗ lực đồ họa của họ.

Hiệu ứng âm thanh

Hiệu ứng âm thanh là một lĩnh vực hấp dẫn khác của trí tuệ nhân tạo. Đã có những bài báo học thuật khám phá ý tưởng sử dụng trí tuệ nhân tạo để tạo ra "foley" trong phim (chẳng hạn như bước chân), nhưng hiện tại có rất ít sản phẩm thương mại có thể ứng dụng trực tiếp vào trò chơi.

Tác giả cho rằng đây chỉ là vấn đề thời gian, bởi tính chất tương tác của trò chơi làm cho nó có tính sinh sản Một ứng dụng rõ ràng của trí tuệ nhân tạo là tạo ra các hiệu ứng âm thanh tĩnh như một phần của quá trình sản xuất ("âm thanh súng laze trong trò chơi, v.v.") hoặc tạo hiệu ứng âm thanh tương tác theo thời gian thực trong thời gian chạy.

Hãy tưởng tượng cách tạo ra bước chân cho nhân vật người chơi (lưu ý của tác giả: chẳng hạn như CS và bước chân gà bên trong...)? Hầu hết các trò chơi truyền thống đều giải quyết vấn đề này bằng một số lượng nhỏ bước chân được ghi sẵn: ví dụ: đi trên cỏ, đi trên sỏi, chạy trên cỏ, chạy trên sỏi, v.v. Những âm thanh này rất khó để xuất bản và quản lý, đồng thời nghe có vẻ lặp đi lặp lại và không thực tế khi chạy.

Cách tốt hơn là tạo ra hiệu ứng âm thanh phù hợp và chân thực hơn trong thời gian thực thông qua mô phỏng AI tổng hợp Các hiệu ứng âm thanh thể hiện hiệu ứng âm thanh khác nhau thông qua các phương tiện khác nhau như mặt đất, nhân vật, trọng lượng, dáng đi, giày dép, v.v. trong trò chơi.

Âm nhạc (nhạc nền trò chơi)

Nhạc phim rất quan trọng đối với trò chơi vì nó giúp thiết lập giai điệu cảm xúc cho chủ đề câu chuyện, giống như trong phim hoặc truyền hình. Nhưng khi trò chơi kéo dài hơn, đôi khi hàng trăm hoặc thậm chí hàng nghìn giờ, âm nhạc không thay đổi có thể nhanh chóng trở nên lặp đi lặp lại hoặc gây nhàm chán cho người chơi. Ngoài ra, do tính chất tương tác của trò chơi nên nhạc nền của trò chơi khó có thể khớp hoàn toàn chính xác với các cảnh và hành động diễn ra ngẫu nhiên trên màn hình.

Âm nhạc thích ứng đã là một phần không thể thiếu trong nhạc nền trò chơi trong hơn hai thập kỷ. Mối lo ngại có thể bắt nguồn từ hệ thống "DirectMusic" của Microsoft, hệ thống được sử dụng để tạo ra âm nhạc tương tác. Tuy nhiên, DirectMusic vẫn chưa được áp dụng rộng rãi, chủ yếu là do rất khó để sáng tác nhạc ở định dạng này. Chỉ có một số trò chơi, chẳng hạn như No One Lives Forever của Monolith, đã tạo ra được những bản nhạc nền có tính tương tác thực sự. .

Hiện nay, có rất nhiều công ty khởi nghiệp đang cố gắng tạo ra âm nhạc do trí tuệ nhân tạo tạo ra, chẳng hạn như Soundful, Musico, Harmonai, Infinite Album và Aiva, mặc dù nhiều công cụ hiện tại, chẳng hạn như Jukebox của Open AI, có tính toán chuyên sâu cao và chưa thể chạy trong thời gian thực, tuy nhiên, khi mô hình ban đầu được thiết lập thành công, hoạt động theo thời gian thực sẽ có thể thực hiện được.

Đối thoại & Lời nói (Lời nói và Đối thoại)

Nhiều công ty cố gắng tạo ra giọng nói thực tế cho các nhân vật trong trò chơi, và tất nhiên, điều này không phải là hiếm do lịch sử tổng hợp giọng nói của máy tính đã có từ rất lâu đời. Các công ty bao gồm Sonantic, Coqui, Replica Studios, Resemble.ai, Readloa.ai, v.v. Việc sử dụng trí tuệ nhân tạo để phát ngôn có rất nhiều lợi ích, tất nhiên sự cạnh tranh trong lĩnh vực này cũng rất khốc liệt.

Tạo cuộc trò chuyện tức thì. Thông thường, giọng nói trong trò chơi được các diễn viên lồng tiếng ghi âm trước, nhưng chúng chỉ giới hạn ở những kịch bản lời nói cứng nhắc. Với cuộc đối thoại AI đầy sáng tạo, các nhân vật có thể nói bất cứ điều gì, nghĩa là họ hoàn toàn có thể phản ứng với hành động của người chơi.

Đóng vai. Nhiều người chơi muốn chơi như những nhân vật ảo có chút giống với danh tính trong thế giới thực của họ. Tuy nhiên, ảo ảnh này sẽ bị phá vỡ ngay khi người chơi nói bằng giọng của chính họ và có thể được duy trì bằng giọng nói được tạo ra phù hợp với hình đại diện của người chơi.

Kiểm soát hiệu ứng âm thanh. Khi tạo giọng nói thông qua AI, chúng ta có thể kiểm soát các sắc thái của âm thanh, chẳng hạn như ngữ điệu, biến điệu, cộng hưởng cảm xúc, độ dài âm vị, trọng âm, v.v. Bản địa hóa (để tạo điều kiện thuận lợi cho việc dịch thuật và quảng bá ra nước ngoài). Các cuộc hội thoại có thể được dịch sang bất kỳ ngôn ngữ nào và được nói bằng cùng một giọng nói, và các công ty như Deepdub chuyên về lĩnh vực này.

NPC và nhân vật người chơi

Nhiều công ty khởi nghiệp đang nghiên cứu sử dụng trí tuệ nhân tạo để tạo ra các nhân vật tương tác, ngoài cơ hội thị trường cho NPC trong game, trợ lý ảo hay lễ tân cũng có tiềm năng rất lớn. . có chỗ cho sự phát triển. Nỗ lực này bắt nguồn từ những ngày đầu nghiên cứu trí tuệ nhân tạo.

Nhiều công ty đang xây dựng các chatbot có mục đích chung, nhiều công ty trong số đó được hỗ trợ bởi các ngôn ngữ tương tự điều khiển theo mô hình GPT-3. Một số công ty đang cố gắng xây dựng chatbot cho mục đích giải trí, chẳng hạn như Replika và Anima, nhằm tạo ra những người bạn đồng hành ảo. Thời đại của những người bạn gái ảo được thể hiện trong bộ phim “Her” (phim khoa học viễn tưởng lãng mạn do Spike Jonze viết kịch bản và đạo diễn với sự tham gia của Joaquin Phoenix, Scarlett Johansson, v.v.) có thể sẽ sớm xuất hiện.

Bây giờ có thể thấy các phiên bản tiếp theo của các nền tảng chatbot này, chẳng hạn như Charisma.ai, Convai.com hoặc Inworld .ai ngoài việc cung cấp khả năng kết xuất nhân vật 3D còn có khả năng kết xuất cảm xúc, công cụ cho phép người sáng tạo đặt mục tiêu cho các nhân vật này, có thể có trạng thái tường thuật trong việc tích hợp vào trò chơi hoặc thúc đẩy sự phát triển của cốt truyện, thay vì chỉ mang tính chất trang trí. .

Nền tảng tích hợp

Các công cụ AI sáng tạo thành công nhất, như Runwayml.com, tích hợp nhiều công cụ dành cho người sáng tạo vào một. Tuy nhiên, hiện tại chưa có công ty nào như vậy trong lĩnh vực game, A16Z mong muốn đầu tư vào các giải pháp chơi game AI tổng quát với các đặc điểm sau:

Một bộ đầy đủ các công cụ AI tổng hợp bao gồm toàn bộ quá trình sản xuất: (mã, tạo nội dung, kết cấu, âm thanh, v.v.) Có thể sử dụng với các công cụ trò chơi phổ biến như Unreal và Unity Được thiết kế để phù hợp với sản xuất trò chơi điển hình Công cụ Universal Scenario Kit

Tóm tắt

Đây là thời điểm tuyệt vời để trở thành người sáng tạo trò chơi. Một ngày nào đó, chúng ta có thể tưởng tượng rằng sẽ có những trò chơi được cá nhân hóa được tùy chỉnh riêng cho người chơi, hoàn toàn dựa trên nhu cầu của họ.

Kịch bản này đã tồn tại trong khoa học viễn tưởng từ lâu - chẳng hạn như "Ender" The " trò chơi trí tuệ nhân tạo” trong “The Game” hay boong tàu ba chiều trong “Star Trek” sẽ thực sự được hiện thực hóa trong tương lai.

Tham khảo:

https://a16z.com/2022 / 17/11/the-generative-ai-revolution-in-games/

Tài khoản công khai Yishajun: Hoàn thiện nhất trong lịch sử! Phân tích chuyên môn ConceptArt được chia sẻ bởi Yufei Zhang, chuyên ngành Concept Art tại Đại học Said--2020 -02-04 18:00  

Liên kết gốc

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia