Tiêu đề gốc: The Data Must Flow

Tác giả gốc: SHLOK KHEMANI

Biên soạn gốc: Shenchao TechFlow

Xem liệu bạn có thể phát hiện ra tất cả các tài liệu tham khảo được tuyển chọn cẩn thận trong hình ảnh hay không

Trong Trong hai năm qua, AI đã chuyển từ hậu trường lên vị trí hàng đầu, kể từ khi OpenAI, một công ty khởi nghiệp tương đối xa lạ, phát hành ứng dụng chatbot có tên ChatGPT. Chúng ta đang ở thời điểm quan trọng khi trí thông minh của máy móc thâm nhập hoàn toàn vào cuộc sống của chúng ta. Khi sự cạnh tranh để kiểm soát trí thông minh này ngày càng gay gắt thì nhu cầu về dữ liệu để thúc đẩy sự phát triển của nó cũng tăng theo. Đó là những gì bài viết này nói về.

Chúng tôi thảo luận về quy mô và tính cấp thiết của dữ liệu mà các công ty AI cần cũng như những vấn đề họ gặp phải khi thu thập dữ liệu đó. Chúng tôi khám phá nhu cầu vô độ này đe dọa mạng internet mà chúng tôi yêu thích và hàng tỷ người đóng góp trên đó như thế nào. Cuối cùng, chúng tôi lập hồ sơ về một số công ty khởi nghiệp tận dụng mật mã để đề xuất giải pháp cho những vấn đề và mối lo ngại này.

Một điều cần lưu ý trước khi đi sâu vào: Bài viết này được viết dưới góc độ đào tạo các mô hình ngôn ngữ lớn (LLM), không phải tất cả các hệ thống AI. Vì vậy, tôi thường sử dụng "AI" và "LLM" thay thế cho nhau.

Trình bày dữ liệu

LLM yêu cầu ba nguồn lực chính: sức mạnh tính toán, năng lượng và dữ liệu. Được hỗ trợ bởi lượng vốn khổng lồ, các công ty, chính phủ và các công ty khởi nghiệp đang đồng loạt tranh giành các nguồn lực này. Trong số ba công ty, cuộc chiến giành sức mạnh tính toán là kịch tính nhất, một phần nhờ giá cổ phiếu tăng nhanh của Nvidia.

Đào tạo LLM đòi hỏi một số lượng lớn các đơn vị xử lý đồ họa chuyên dụng (GPU), đặc biệt là các mẫu A100, H100 và B100 sắp ra mắt của NVIDIA. Đây không phải là những thiết bị máy tính mà bạn có thể mua từ Amazon hoặc cửa hàng máy tính ở địa phương. Thay vào đó, chúng có giá hàng chục ngàn đô la. NVIDIA quyết định cách phân bổ các tài nguyên đó giữa các phòng thí nghiệm AI, các công ty khởi nghiệp, trung tâm dữ liệu và khách hàng siêu quy mô.

Trong vòng 18 tháng kể từ khi ChatGPT ra mắt, nhu cầu về GPU đã vượt xa nguồn cung, khiến thời gian chờ đợi lên tới 11 tháng. Tuy nhiên, động lực cung và cầu đang bình thường hóa và giá cả đang giảm khi các công ty khởi nghiệp đóng cửa, thuật toán đào tạo và kiến trúc mô hình được cải thiện, các công ty khác tung ra chip chuyên dụng và NVIDIA tăng quy mô sản xuất.

Thứ hai là năng lượng. Việc chạy GPU trong trung tâm dữ liệu đòi hỏi rất nhiều năng lượng. Theo một số ước tính, các trung tâm dữ liệu sẽ tiêu thụ 4,5% năng lượng toàn cầu vào năm 2030. Khi nhu cầu tăng cao này gây áp lực lên lưới điện hiện có, các công ty công nghệ đang khám phá các giải pháp năng lượng thay thế. Amazon gần đây đã mua một khuôn viên trung tâm dữ liệu được cung cấp bởi một nhà máy điện hạt nhân với giá 650 triệu USD. Microsoft đã thuê một giám đốc điều hành công nghệ hạt nhân. Sam Altman của OpenAI đã hỗ trợ các công ty khởi nghiệp về năng lượng như Helion, Exowatt và Oklo.

Từ góc độ đào tạo các mô hình AI, năng lượng và sức mạnh tính toán chỉ là hàng hóa. Việc chọn B100 thay vì H100 hoặc năng lượng hạt nhân thay vì năng lượng thông thường có thể giúp quá trình đào tạo rẻ hơn, nhanh hơn hoặc hiệu quả hơn nhưng sẽ không ảnh hưởng đến chất lượng của mô hình. Nói cách khác, trong cuộc đua tạo ra những mô hình AI thông minh và giống con người nhất, năng lượng và sức mạnh tính toán là yếu tố cơ bản chứ không phải là yếu tố quyết định.

Tài nguyên quan trọng nhất là dữ liệu.

James Betker là kỹ sư nghiên cứu tại OpenAI. Bằng chính tài khoản của mình, anh ấy đã đào tạo ra nhiều mô hình sáng tạo hơn bất kỳ ai có quyền đào tạo. Trong một bài đăng trên blog, ông lưu ý rằng "đào tạo trên cùng một tập dữ liệu đủ lâu, với đủ trọng lượng và thời gian huấn luyện cho hầu hết mọi mô hình và cuối cùng chúng sẽ hội tụ về cùng một điểm." trong mô hình là tập dữ liệu và không có gì khác.

Khi chúng tôi gọi một mô hình là "ChatGPT", "Claude", "Mistral" hoặc "Lambda", chúng tôi không nói về kiến trúc, cách sử dụng GPU hoặc năng lượng họ tiêu thụ chứ không phải tập dữ liệu mà họ được đào tạo.

Nếu dữ liệu là thức ăn cho việc đào tạo AI thì mô hình chính là thứ chúng ăn.

Cần bao nhiêu dữ liệu để đào tạo một mô hình sáng tạo hiện đại? Câu trả lời là rất nhiều.

GPT-4 vẫn được coi là mô hình ngôn ngữ quy mô lớn tốt nhất hơn một năm sau khi phát hành, sử dụng khoảng 12 nghìn tỷ mã thông báo (hoặc khoảng 9 nghìn tỷ từ ) cho tập huấn. Dữ liệu đến từ việc thu thập dữ liệu trên internet có sẵn công khai, bao gồm Wikipedia, Reddit, Common Crawl (kho lưu trữ dữ liệu quét web mở, miễn phí), hơn một triệu giờ dữ liệu YouTube được sao chép và các nền tảng mã hóa như GitHub và Stack Overflow.

Nếu bạn cho rằng đây là nhiều dữ liệu, hãy đợi. Có một khái niệm trong AI tổng quát được gọi là "Luật chia tỷ lệ Chinchilla", có nghĩa là với ngân sách điện toán nhất định, việc đào tạo một mô hình nhỏ hơn trên một tập dữ liệu lớn hơn sẽ tốt hơn so với việc đào tạo một mô hình lớn hơn trên một tập dữ liệu nhỏ hơn. . Nếu chúng tôi ngoại suy các tài nguyên điện toán mà các công ty AI mong đợi sử dụng để đào tạo các mô hình AI thế hệ tiếp theo như GPT-5 và Llama-4, thì chúng tôi thấy rằng các mô hình này dự kiến sẽ yêu cầu sức mạnh tính toán gấp 5 đến 6 lần, sử dụng nhiều nhất có thể. 100 nghìn tỷ Mark cho việc đào tạo.

Vì hầu hết dữ liệu Internet công cộng đã được thu thập, lập chỉ mục và sử dụng Để đào tạo một mô hình hiện có, dữ liệu bổ sung sẽ đến từ đâu? Điều này đã trở thành một câu hỏi nghiên cứu tiên tiến mà các công ty AI phải đối mặt. Có hai giải pháp. Một là tạo ra dữ liệu tổng hợp, tức là dữ liệu được tạo ra trực tiếp bởi LLM chứ không phải do con người. Tuy nhiên, tính hữu ích của dữ liệu này trong việc làm cho các mô hình trở nên thông minh hơn vẫn chưa được thử nghiệm.

Một cách tiếp cận khác là chỉ cần tìm kiếm dữ liệu chất lượng cao thay vì tạo ra nó một cách tổng hợp. Tuy nhiên, việc thu thập dữ liệu bổ sung là một thách thức, đặc biệt khi các công ty AI phải đối mặt với các vấn đề đe dọa không chỉ đến việc đào tạo các mô hình trong tương lai mà còn cả tính hiệu quả của các mô hình hiện có.

Vấn đề dữ liệu đầu tiên liên quan đến vấn đề pháp lý. Mặc dù các công ty AI tuyên bố sử dụng “dữ liệu có sẵn công khai” nhưng phần lớn dữ liệu đó đều có bản quyền. Ví dụ: tập dữ liệu Thu thập thông tin chung chứa hàng triệu bài viết từ các ấn phẩm như The New York Times và The Associated Press, cũng như các tài liệu có bản quyền khác.

Một số nhà xuất bản và người sáng tạo đang thực hiện hành động pháp lý chống lại các công ty AI, cáo buộc họ vi phạm bản quyền và sở hữu trí tuệ. New York Times đã kiện OpenAI và Microsoft, cáo buộc họ "sao chép và khai thác trái phép tác phẩm độc đáo và có giá trị của The New York Times". Một nhóm lập trình viên đã đệ đơn kiện tập thể thách thức tính hợp pháp của việc sử dụng mã nguồn mở để đào tạo GitHub Copilot, một trợ lý lập trình AI nổi tiếng.

Diễn viên hài Sarah Silverman và tác giả Paul Tremblay cũng đang kiện công ty AI, cáo buộc họ sử dụng tác phẩm của họ mà không được phép.

Những người khác đang đón nhận sự thay đổi bằng cách hợp tác với các công ty AI. Associated Press, Financial Times và Axel Springer đều đã ký thỏa thuận cấp phép nội dung với OpenAI. Apple đang khám phá các thỏa thuận tương tự với các tổ chức tin tức như Condé Nast và NBC. Google đã đồng ý trả cho Reddit 60 triệu USD mỗi năm để có quyền truy cập vào API đào tạo mô hình của họ, trong khi Stack Overflow đạt được thỏa thuận tương tự với OpenAI. Meta được cho là đã cân nhắc việc mua hoàn toàn công ty xuất bản Simon & Schuster.

Những thỏa thuận này trùng hợp với vấn đề thứ hai mà các công ty AI phải đối mặt—việc đóng cửa các mạng mở.

Các diễn đàn Internet và trang mạng xã hội đã công nhận giá trị mà các công ty AI mang lại khi sử dụng dữ liệu từ nền tảng của họ để đào tạo mô hình. Trước thỏa thuận với Google (và có thể cả các công ty AI khác trong tương lai), Reddit đã bắt đầu tính phí API mà trước đây họ cung cấp miễn phí, chấm dứt các ứng dụng khách phổ biến của bên thứ ba. Tương tự như vậy, Twitter đã hạn chế quyền truy cập API và tăng giá, đồng thời Elon Musk sử dụng dữ liệu Twitter để đào tạo các mô hình cho công ty AI của riêng mình, xAI.

Ngay cả một mạng Internet nơi các ấn phẩm nhỏ hơn, diễn đàn tiểu thuyết dành cho người hâm mộ và những nơi khác sản xuất nội dung cho mọi người xem miễn phí (nếu có, kiếm tiền thông qua quảng cáo) thì các góc ngách cũng có bây giờ đang đóng cửa. Internet từng được hình dung như một không gian ảo kỳ diệu, nơi mọi người có thể tìm thấy một bộ tộc có chung sở thích và thói quen riêng của họ. Phép thuật đó dường như đang dần biến mất.

Mối đe dọa kiện tụng này, sự gia tăng các giao dịch nội dung trị giá hàng triệu đô la và việc đóng cửa web mở có hai hàm ý.

1. Đầu tiên, cuộc chiến dữ liệu nghiêng về phía những gã khổng lồ công nghệ. Các công ty khởi nghiệp và công ty nhỏ không thể truy cập các API có sẵn trước đây cũng như không đủ khả năng chi trả số tiền cần thiết để mua quyền sử dụng mà không gặp rủi ro pháp lý. Điều này rõ ràng có tính chất tập trung, nơi người giàu có thể mua dữ liệu tốt nhất và do đó tạo ra những mô hình tốt nhất và trở nên giàu có hơn.

2. Thứ hai, mô hình kinh doanh của nền tảng nội dung do người dùng tạo ngày càng bất lợi cho người dùng. Các nền tảng như Reddit và Stack Overflow dựa vào sự đóng góp của hàng triệu người sáng tạo và người kiểm duyệt không được trả lương. Tuy nhiên, khi các nền tảng này đạt được các thỏa thuận trị giá hàng triệu đô la với các công ty AI, họ không bồi thường cũng như không xin phép người dùng, nếu không có họ thì sẽ không có dữ liệu để bán.

 Cả Reddit và Stack Overflow đều gặp phải những cảnh cáo đáng kể của người dùng đối với những quyết định này. Ủy ban Thương mại Liên bang (FTC) cũng đang điều tra hoạt động bán, cấp phép và chia sẻ bài đăng của người dùng cho các tổ chức bên ngoài của Reddit để sử dụng trong việc đào tạo các mô hình AI.

Những câu hỏi này đặt ra những câu hỏi phù hợp cho việc đào tạo thế hệ mô hình AI tiếp theo và cho tương lai của nội dung Internet. Với tình hình hiện tại, tương lai có vẻ không mấy hứa hẹn. Liệu các giải pháp mã hóa có thể tạo ra một sân chơi bình đẳng cho các công ty nhỏ hơn và người dùng Internet, giải quyết một số vấn đề này không?

Đường dẫn dữ liệu

Đào tạo các mô hình AI và tạo ra các ứng dụng hữu ích là những nỗ lực phức tạp và tốn kém, đòi hỏi nhiều tháng lập kế hoạch, phân bổ nguồn lực và thực hiện. Các quy trình này bao gồm nhiều giai đoạn, mỗi giai đoạn có mục đích và yêu cầu dữ liệu khác nhau.

Hãy chia nhỏ các giai đoạn này để hiểu cách mật mã phù hợp với câu đố AI lớn hơn.

Đào tạo trước

Đào tạo trước là bước đầu tiên trong quá trình đào tạo LLM và tiêu tốn nhiều tài nguyên nhất Các bước tạo thành cơ sở của mô hình. Ở bước này, mô hình AI được huấn luyện trên một lượng lớn văn bản chưa được gắn nhãn để nắm bắt kiến thức phổ biến và thông tin sử dụng ngôn ngữ về thế giới. Khi chúng tôi nói GPT-4 được đào tạo bằng cách sử dụng 12 nghìn tỷ mã thông báo, điều này đề cập đến dữ liệu được sử dụng trong quá trình đào tạo trước.

Để hiểu tại sao đào tạo trước là nền tảng của LLM, chúng ta cần có cái nhìn tổng quan ở cấp độ cao về cách thức hoạt động của LLM. Xin lưu ý rằng đây chỉ là một cái nhìn tổng quan đơn giản. Bạn có thể tìm thấy lời giải thích kỹ lưỡng hơn trong bài viết xuất sắc của Jon Stokes, video thú vị của Andrej Karpathy hay cuốn sách xuất sắc của Stephen Wolfram.

LLM sử dụng kỹ thuật thống kê được gọi là Dự đoán mã thông báo tiếp theo. Nói một cách đơn giản, với một chuỗi mã thông báo (tức là các từ), mô hình sẽ cố gắng dự đoán mã thông báo có khả năng xảy ra tiếp theo nhất. Quá trình này được lặp lại để tạo thành một phản ứng hoàn chỉnh. Vì vậy, bạn có thể coi các mô hình ngôn ngữ lớn là những “máy hoàn thiện”.

Hãy để chúng tôi hiểu điều này bằng một ví dụ.

Khi tôi hỏi ChatGPT "Mặt trời mọc từ hướng nào (mặt trời mọc từ hướng nào)?", đầu tiên nó dự đoán từ "the", Sau đó dự đoán lần lượt từng từ trong câu “mặt trời mọc từ phương Đông”. Nhưng những dự đoán này đến từ đâu? Làm thế nào ChatGPT xác định rằng sau "mặt trời mọc từ" thì phải là "phía Đông" thay vì "phía Tây", "phía Bắc" hay "Amsterdam"? Nói cách khác, làm sao biết được rằng “phương Đông” có nhiều khả năng xảy ra hơn về mặt thống kê so với các lựa chọn khác?

Câu trả lời là tìm hiểu các mẫu thống kê từ số lượng lớn các -chất lượng dữ liệu đào tạo. Nếu bạn xem xét tất cả văn bản trên Internet, điều gì có nhiều khả năng xuất hiện hơn - "Mặt trời mọc ở phía đông" hay "Mặt trời mọc ở phía tây"? Điều sau có thể xảy ra trong những bối cảnh cụ thể, chẳng hạn như ẩn dụ văn học ("Sẽ vô lý như việc tin rằng mặt trời mọc ở phía tây") hoặc trong các cuộc thảo luận về các hành tinh khác (chẳng hạn như sao Kim, nơi mặt trời mọc ở phía tây) . Nhưng nói chung, cái trước phổ biến hơn.

Bằng cách liên tục dự đoán từ tiếp theo, LLM phát triển một thế giới quan chung (điều mà chúng tôi gọi là lẽ thường) ) và sự hiểu biết về các quy tắc và mô hình của ngôn ngữ. Một cách khác để nghĩ về LLM là coi nó như một phiên bản nén của Internet. Nó cũng giúp hiểu tại sao dữ liệu cần phải vừa lớn (nhiều mẫu hơn để lựa chọn) vừa chất lượng cao (để cải thiện độ chính xác của việc học mẫu).

Nhưng như đã thảo luận trước đó, các công ty AI đang cạn kiệt dữ liệu để đào tạo các mô hình lớn hơn. Nhu cầu về dữ liệu đào tạo đang tăng nhanh hơn nhiều so với tốc độ tạo ra dữ liệu mới trên internet mở. Khi các vụ kiện tụng ngày càng gia tăng và các diễn đàn lớn đóng cửa, các công ty AI phải đối mặt với những câu hỏi nghiêm trọng.

Vấn đề thậm chí còn nghiêm trọng hơn đối với các công ty nhỏ hơn, không đủ khả năng chi trả cho các giao dịch trị giá hàng triệu đô la với các nhà cung cấp dữ liệu độc quyền như Reddit.

Điều này đưa chúng ta đến với Grass, một nhà cung cấp proxy dân cư phi tập trung nhằm giải quyết những vấn đề dữ liệu này. Họ tự gọi mình là “lớp dữ liệu của AI”. Trước tiên hãy hiểu nhà cung cấp proxy dân cư là gì.

Internet là nguồn dữ liệu đào tạo tốt nhất và việc thu thập dữ liệu trên Internet là phương pháp ưa thích của các công ty để có được dữ liệu này. Trong thực tế, phần mềm thu thập dữ liệu được lưu trữ trong các trung tâm dữ liệu để mở rộng quy mô, thuận tiện và hiệu quả. Nhưng các công ty có dữ liệu có giá trị không muốn dữ liệu của họ được sử dụng để đào tạo các mô hình AI (trừ khi họ được trả tiền). Để thực thi những hạn chế này, họ thường chặn các địa chỉ IP từ các trung tâm dữ liệu đã biết, ngăn chặn việc thu thập dữ liệu hàng loạt.

Đây là lúc các nhà cung cấp dịch vụ môi giới dân cư phát huy tác dụng. Các trang web chỉ chặn địa chỉ IP từ các trung tâm dữ liệu đã biết chứ không phải từ những người dùng Internet thông thường như bạn và tôi, khiến kết nối Internet hoặc kết nối Internet dân dụng của chúng tôi trở nên có giá trị. Các nhà cung cấp proxy dân cư tổng hợp hàng triệu kết nối này để thu thập dữ liệu của các công ty AI trên quy mô lớn.

Tuy nhiên, các nhà cung cấp proxy dân cư tập trung hoạt động không được giám sát. Họ thường không rõ ràng về ý định của mình. Người dùng có thể miễn cưỡng chia sẻ nếu họ biết một sản phẩm đang sử dụng băng thông của họ. Tệ hơn nữa, họ có thể yêu cầu bồi thường cho băng thông mà sản phẩm sử dụng, từ đó làm giảm lợi nhuận của họ.

Để bảo vệ lợi nhuận của mình, các nhà cung cấp proxy dân cư đã đưa mã tiêu tốn băng thông của họ vào các ứng dụng miễn phí được phân phối rộng rãi, chẳng hạn như các ứng dụng tiện ích di động như máy tính và máy ghi âm), Các nhà cung cấp VPN và thậm chí cả trình bảo vệ màn hình TV dành cho người tiêu dùng. Người dùng nghĩ rằng họ đang nhận được một sản phẩm miễn phí, trong khi thực tế là một nhà cung cấp dịch vụ dân cư bên thứ ba đang tiêu tốn băng thông của họ (những chi tiết này thường bị ẩn trong điều khoản dịch vụ mà ít người đọc).

Cuối cùng, một số dữ liệu này sẽ được chuyển đến các công ty AI. Họ sử dụng dữ liệu đó để đào tạo các mô hình và tạo ra giá trị cho chính họ.

Trong khi điều hành nhà cung cấp proxy dân cư của riêng mình, Andrej Radonjic nhận thức được bản chất phi đạo đức của những hoạt động này và sự bất công của chúng đối với người dùng. Ông đã nhìn thấy sự phát triển của mật mã và xác định cách tạo ra một giải pháp công bằng hơn. Đây là bối cảnh mà Grass được thành lập vào cuối năm 2022. Vài tuần sau, ChatGPT được phát hành, thay đổi thế giới và đưa Grass vào đúng thời điểm và địa điểm.

Không giống như các chiến thuật bí mật được các nhà cung cấp proxy dân cư khác sử dụng, Grass truyền đạt rõ ràng ý kiến của Người dùng sử dụng băng thông cho mục đích đào tạo mô hình AI. Đổi lại, người dùng nhận được phần thưởng trực tiếp. Mô hình này phá vỡ cách thức hoạt động của các nhà cung cấp đại lý dân cư. Bằng cách tự nguyện cung cấp băng thông và trở thành chủ sở hữu một phần của mạng, người dùng chuyển đổi từ người tham gia thụ động sang người ủng hộ tích cực, tăng độ tin cậy của mạng và hưởng lợi từ giá trị do AI tạo ra.

Sự tăng trưởng của Grass rất ấn tượng. Kể từ khi ra mắt vào tháng 6 năm 2023, họ có hơn 2 triệu người dùng đang hoạt động chạy các nút và đóng góp băng thông bằng cách cài đặt tiện ích mở rộng trình duyệt hoặc ứng dụng di động. Sự tăng trưởng này đã đạt được mà không cần chi phí tiếp thị bên ngoài nhờ chương trình giới thiệu rất thành công.

Việc sử dụng các dịch vụ của Grass cho phép nhiều công ty, bao gồm các phòng thí nghiệm AI lớn và các công ty khởi nghiệp nguồn mở, có được dữ liệu đào tạo đã được thu thập lại với chi phí thấp hơn. Đồng thời, mọi người dùng thông thường đều được trả tiền để chia sẻ kết nối Internet của họ và trở thành một phần của nền kinh tế AI đang phát triển.

Ngoài dữ liệu thô, Grass còn cung cấp một số dịch vụ bổ sung cho khách hàng .

Đầu tiên, họ chuyển đổi các trang web phi cấu trúc thành dữ liệu có cấu trúc để các mô hình AI dễ dàng xử lý. Bước này, được gọi là làm sạch dữ liệu, là một nhiệm vụ tiêu tốn nhiều tài nguyên thường được thực hiện bởi các phòng thí nghiệm AI. Bằng cách cung cấp các bộ dữ liệu rõ ràng, có cấu trúc, Grass nâng cao giá trị của mình cho khách hàng. Ngoài ra, Grass đã đào tạo LLM nguồn mở để tự động hóa quá trình thu thập dữ liệu, chuẩn bị và ghi nhãn dữ liệu.

Thứ hai, Grass tập hợp tập dữ liệu với bằng chứng không thể chối cãi về nguồn gốc. Do tầm quan trọng của dữ liệu chất lượng cao đối với các mô hình AI, điều quan trọng đối với các công ty AI là phải đảm bảo rằng các bộ dữ liệu không bị giả mạo bởi các trang web độc hại hoặc nhà cung cấp proxy dân cư.

Mức độ nghiêm trọng của vấn đề nằm ở việc hình thành các tổ chức như Data & Trust Alliance, một nhóm phi lợi nhuận gồm hơn 20 công ty, bao gồm Meta, IBM và Walmart, cùng hợp tác để tạo ra các tiêu chuẩn về nguồn gốc dữ liệu. Giúp các tổ chức xác định. liệu tập dữ liệu có phù hợp và đáng tin cậy hay không.

Grass cũng đang thực hiện các bước tương tự. Mỗi khi nút Grass thu thập dữ liệu một trang web, nó cũng ghi lại siêu dữ liệu để xác minh nguồn gốc của trang. Những bằng chứng xuất xứ này được lưu trữ trên blockchain và được chia sẻ với khách hàng (những người có thể chia sẻ thêm với người dùng của họ).

Mặc dù Grass đang được xây dựng trên Solana, một trong những chuỗi khối có thông lượng cao nhất, nhưng việc lưu trữ khả năng truy xuất nguồn gốc của từng tác vụ thu thập dữ liệu trên L1 là không thể. Vì vậy, Grass đang xây dựng một bản tổng hợp (một trong những bản tổng hợp đầu tiên trên Solana) sử dụng bộ xử lý ZK để xử lý hàng loạt bằng chứng xuất xứ và sau đó xuất bản chúng lên Solana. Bản tổng hợp này, mà Grass gọi là "lớp dữ liệu của AI", trở thành sổ cái dữ liệu cho tất cả dữ liệu họ thu thập được.

Cách tiếp cận 3-đầu tiên của Grass's Web mang lại cho nó một số lợi thế so với các nhà cung cấp proxy dân cư tập trung. Đầu tiên, bằng cách sử dụng phần thưởng để khuyến khích người dùng chia sẻ băng thông trực tiếp, họ phân phối giá trị do AI tạo ra một cách công bằng hơn (đồng thời tiết kiệm chi phí trả tiền cho nhà phát triển ứng dụng để đóng gói mã của họ). Thứ hai, họ có thể tính phí cao hơn khi cung cấp cho khách hàng "lưu lượng truy cập hợp pháp", điều này rất có giá trị trong ngành.

Một giao thức khác hoạt động về "giao thông hợp pháp" là Masa. Mạng cho phép người dùng chuyển thông tin đăng nhập của họ cho các nền tảng truyền thông xã hội như Reddit, Twitter hoặc TikTok. Sau đó, các nút trên mạng sẽ thu thập dữ liệu được cập nhật theo ngữ cảnh cao từ các nền tảng này. Ưu điểm của mô hình này là dữ liệu được thu thập là những gì người dùng bình thường nhìn thấy trên nền tảng truyền thông xã hội của họ. Trong thời gian thực, bạn có thể có được các tập dữ liệu phong phú giải thích cảm xúc hoặc nội dung sắp lan truyền.

Có hai cách sử dụng chính cho những tập dữ liệu này.

1. Tài chính - Nếu bạn có thể thấy những gì hàng nghìn người đang nhìn thấy trên nền tảng truyền thông xã hội của họ, bạn có thể phát triển các giao dịch dựa trên Chiến lược dữ liệu đó. Các tác nhân tự trị tận dụng dữ liệu cảm tính có thể được đào tạo trên tập dữ liệu của Masa.

2. Xã hội - Sự ra đời của các đối tác AI (hoặc các công cụ như Replika) có nghĩa là chúng ta cần các tập dữ liệu bắt chước cuộc trò chuyện của con người. Những cuộc trò chuyện này cũng yêu cầu thông tin cập nhật. Luồng dữ liệu của Masa có thể được sử dụng để đào tạo các đại lý có thể thảo luận một cách có ý nghĩa về các xu hướng mới nhất trên Twitter.

Phương pháp tiếp cận của Masa là lấy thông tin từ các khu vườn kín (chẳng hạn như Twitter) thông qua sự đồng ý của người dùng và cung cấp thông tin này cho các nhà phát triển để xây dựng ứng dụng. Cách tiếp cận ưu tiên xã hội như vậy để thu thập dữ liệu cũng cho phép xây dựng các bộ dữ liệu xung quanh các ngôn ngữ trong khu vực.

Ví dụ: bot nói tiếng Hindi có thể sử dụng dữ liệu thu được từ mạng xã hội hoạt động bằng tiếng Hindi. Các mạng này mở ra triển vọng ứng dụng vẫn chưa được khám phá.

Căn chỉnh mô hình

Các LLM được đào tạo trước vẫn chưa sẵn sàng để sử dụng trong sản xuất. Hãy nghĩ về nó. Mô hình hiện chỉ biết cách dự đoán từ tiếp theo trong chuỗi và không có gì khác. Nếu bạn đưa cho mô hình được đào tạo trước một số văn bản, chẳng hạn như "Satoshi Nakamoto là ai?", thì bất kỳ câu trả lời nào sau đây đều hợp lệ:

1. Nakamoto?

2. Biến các cụm từ thành câu: Đây là một vấn đề khiến các tín đồ Bitcoin trăn trở trong nhiều năm.

3. Thực sự trả lời câu hỏi: Satoshi Nakamoto là người có bút danh đã tạo ra Bitcoin, loại tiền điện tử phi tập trung đầu tiên và công nghệ cơ bản của nó, chuỗi khối.

Một LLM được thiết kế để cung cấp câu trả lời hữu ích sẽ cung cấp câu trả lời thứ ba. Tuy nhiên, các mô hình được đào tạo trước không đưa ra câu trả lời nhất quán hoặc chính xác. Trên thực tế, họ thường đưa ra những văn bản ngẫu nhiên không có ý nghĩa gì đối với người dùng cuối. Trường hợp xấu nhất là khi một mô hình cung cấp thông tin thực tế không chính xác, độc hại hoặc có hại trong khi vẫn duy trì tính bảo mật. Khi điều này xảy ra, người mẫu sẽ bị "ảo giác".

Đây là cách GPT-3 được đào tạo trước trả lời các câu hỏi

Mục tiêu của việc căn chỉnh mô hình là làm cho các mô hình được đào tạo trước trở nên hữu ích cho người dùng cuối. Nói cách khác, hãy biến nó từ một công cụ hoàn thiện văn bản thống kê đơn thuần thành một chatbot có thể hiểu và điều chỉnh theo nhu cầu của người dùng, đồng thời có thể tiến hành các cuộc trò chuyện mạch lạc, hữu ích.

Tinh chỉnh đối thoại

Bước đầu tiên trong quá trình này là tinh chỉnh đối thoại. Tinh chỉnh đề cập đến việc sử dụng một mô hình học máy được đào tạo trước và đào tạo thêm trên một tập dữ liệu được nhắm mục tiêu nhỏ hơn để giúp nó thích ứng với một nhiệm vụ hoặc trường hợp sử dụng cụ thể. Trường hợp sử dụng cụ thể này để đào tạo LLM là có các cuộc trò chuyện giống con người. Đương nhiên, tập dữ liệu được tinh chỉnh này là một tập hợp các cặp tín hiệu-phản hồi do con người tạo ra để chỉ cho mô hình cách hành xử.

Những bộ dữ liệu này bao gồm các loại hội thoại khác nhau (Hỏi đáp, tóm tắt, dịch, tạo mã) và thường được thiết kế bởi những người có trình độ học vấn cao (đôi khi được gọi là gia sư AI), những người có kỹ năng ngôn ngữ xuất sắc và chuyên môn về chủ đề.

Ước tính các mô hình tiên tiến nhất như GPT-4 sẽ được đào tạo trên khoảng 100.000 cặp tín hiệu phản hồi như vậy.

Ví dụ về cặp phản hồi nhanh chóng

Học tập tăng cường từ phản hồi của con người (RLHF)

Bước này có thể được coi là tương tự như việc con người huấn luyện chó cưng: khen thưởng những con ngoan Hành vi, trừng phạt hành vi xấu. Mô hình nhận được lời nhắc và phản hồi của nó được chia sẻ với người chú thích là con người, người sẽ chấm điểm mô hình đó (ví dụ: 1-5) dựa trên độ chính xác và chất lượng của đầu ra. Một phiên bản khác của RLHF tạo ra lời nhắc và tạo ra nhiều phản hồi, được người chú thích xếp hạng từ tốt nhất đến tệ nhất.

Ví dụ về nhiệm vụ RLHF

RLHF được thiết kế để hướng dẫn các mô hình hướng tới hành vi ưa thích và mong muốn của con người. Trên thực tế, nếu bạn là người dùng ChatGPT, OpenAI cũng sẽ nhận ra bạn là người chú thích dữ liệu RLHF! Điều này xảy ra khi mô hình đôi khi tạo ra hai phản hồi và yêu cầu bạn chọn phản hồi tốt hơn.

Ngay cả một biểu tượng thích hoặc không thích đơn giản để nhắc bạn đánh giá mức độ hữu ích của câu trả lời cũng là một loại hình đào tạo RLHF cho mô hình.

Khi sử dụng các mô hình AI, chúng tôi hiếm khi xem xét hàng trăm khoản đầu tư đằng sau chúng Hàng ngàn số giờ lao động của con người. Đây không chỉ là nhu cầu riêng của LLM. Trong lịch sử, ngay cả các trường hợp sử dụng máy học truyền thống, chẳng hạn như kiểm duyệt nội dung, lái xe tự động và phát hiện khối u, cũng cần có sự tham gia đáng kể của con người vào việc chú thích dữ liệu. (Câu chuyện xuất sắc năm 2019 của New York Times cho thấy hậu trường của văn phòng Ấn Độ của iAgent, một công ty chuyên về chú thích con người).

Fei-Fei Li Mechanical Turk, được sử dụng để tạo ra cơ sở dữ liệu ImageNet, được Jeff Bezos gọi là "AI nhân tạo" vì nhân viên của công ty này được đào tạo về AI đằng sau -cảnh vai trò.

Trong một câu chuyện kỳ quái hồi đầu năm nay, các cửa hàng Just Walk Out của Amazon cho phép khách hàng chỉ cần lấy đồ từ kệ và bước ra ngoài (sau này là Sạc tự động), thì không được thúc đẩy bởi một số AI tiên tiến, nhưng bởi 1.000 nhân viên hợp đồng Ấn Độ sàng lọc thủ công các cảnh quay của cửa hàng.

Điều quan trọng là mọi hệ thống AI quy mô lớn đều phụ thuộc vào con người ở một mức độ nào đó, LLM có chỉ làm tăng nhu cầu về các dịch vụ này. Các công ty như Scal AI, có khách hàng bao gồm OpenAI, đã tận dụng nhu cầu này để đạt mức định giá 11 tỷ USD. Thậm chí, Uber còn phân công lại một số công nhân Ấn Độ để chú thích đầu ra AI khi họ không lái phương tiện.

Trong quá trình trở thành giải pháp dữ liệu AI toàn diện, Grass cũng đang tham gia vào thị trường này. Họ sẽ sớm phát hành giải pháp chú thích AI (dưới dạng phần mở rộng cho sản phẩm chính của họ), nơi người dùng có thể kiếm được phần thưởng khi hoàn thành các nhiệm vụ RLHF.

Câu hỏi đặt ra là: Grass có lợi thế gì khi thực hiện quy trình này theo cách phi tập trung so với hàng trăm công ty tập trung trong cùng lĩnh vực?

Cỏ có thể xây dựng mạng lưới công nhân thông qua các ưu đãi bằng mã thông báo. Giống như việc họ thưởng cho người dùng mã thông báo vì đã chia sẻ băng thông internet của họ, họ cũng có thể thưởng cho con người khi gắn nhãn dữ liệu đào tạo AI. Trong thế giới Web2, trải nghiệm của người dùng khi trả lương cho nhân viên trong nền kinh tế tự do, đặc biệt là đối với các nhiệm vụ được phân phối trên toàn cầu, không bằng tính thanh khoản tức thời được cung cấp trên một chuỗi khối nhanh như Solana.

Cộng đồng tiền điện tử, đặc biệt là cộng đồng hiện tại của Grass, đã có một lượng lớn người dùng có trình độ học vấn, am hiểu về internet và hiểu biết về kỹ thuật. Điều này làm giảm nguồn lực Grass cần dành cho việc tuyển dụng và đào tạo công nhân.

Bạn có thể tự hỏi liệu nhiệm vụ chú thích các câu trả lời của mô hình AI để đổi lấy phần thưởng có hấp dẫn nông dân và robot hay không. Tôi cũng đã nghĩ như vậy. May mắn thay, nghiên cứu đáng kể đã được tiến hành nhằm khám phá việc sử dụng các kỹ thuật đồng thuận để xác định các trình chú thích chất lượng cao và lọc ra các bot.

Lưu ý rằng Grass, ít nhất là ở thời điểm hiện tại, chỉ tham gia vào thị trường RLHF và không giúp các công ty điều chỉnh các cuộc trò chuyện, vốn đòi hỏi lực lượng lao động có chuyên môn cao và hậu cần khó tự động hóa hơn.

Tinh chỉnh chuyên môn

Sau khi hoàn thành các bước đào tạo trước và căn chỉnh, chúng tôi nhận được cái gọi là mô hình cơ bản. Các mô hình cơ sở có hiểu biết chung về cách thế giới vận hành và có thể tiến hành các cuộc trò chuyện trôi chảy giống như con người về nhiều chủ đề. Nó cũng có khả năng sử dụng tốt ngôn ngữ và có thể dễ dàng giúp người dùng viết email, truyện, thơ, bài báo và bài hát.

Khi sử dụng ChatGPT, bạn đang tương tác với mô hình cơ sở GPT-4.

Mô hình cơ sở là mô hình chung. Mặc dù họ có kiến thức phong phú về hàng triệu chủ đề nhưng họ không chuyên về một lĩnh vực nào. Khi được yêu cầu giúp hiểu về hệ thống mã hóa của Bitcoin, các câu trả lời đều hữu ích và hầu hết đều chính xác. Tuy nhiên, bạn không nên đặt quá nhiều niềm tin vào nó khi yêu cầu nó liệt kê các rủi ro trong trường hợp bảo mật của giao thức tái cơ cấu như EigenLayer.

Xin nhớ rằng việc tinh chỉnh dựa trên mô hình học máy được đào tạo trước và đào tạo thêm trên tập dữ liệu được nhắm mục tiêu nhỏ hơn để giúp nó thích ứng với. một nhiệm vụ hoặc trường hợp sử dụng cụ thể. Trước đây chúng ta đã thảo luận về việc tinh chỉnh khi biến công cụ hoàn thành văn bản thô thành mô hình đàm thoại. Tương tự như vậy, chúng ta có thể tinh chỉnh mô hình cơ bản thu được để chuyên môn hóa vào một lĩnh vực hoặc nhiệm vụ cụ thể.

Med-PaLM2 là phiên bản tinh chỉnh của mẫu cơ bản PaLM-2 của Google, được thiết kế để cung cấp câu trả lời chất lượng cao cho các câu hỏi y tế. MetaMath là mô hình suy luận toán học được tinh chỉnh trên Mistral-7B. Một số mô hình thúc đẩy chuyên về các danh mục rộng như Kể chuyện, Tóm tắt văn bản và Dịch vụ khách hàng, trong khi những mô hình khác chuyên về các lĩnh vực chuyên biệt như Thơ Bồ Đào Nha, Dịch thuật tiếng Hinglish và Luật Sri Lanka.

Để tinh chỉnh mô hình cho một trường hợp sử dụng cụ thể, cần có bộ dữ liệu miền phù hợp, chất lượng cao. Các bộ dữ liệu này có thể bắt nguồn từ các trang web cụ thể (như dữ liệu được mã hóa trong bản tin này), các bộ dữ liệu độc quyền (chẳng hạn như một bệnh viện có thể ghi lại hàng nghìn tương tác giữa bác sĩ và bệnh nhân) hoặc kinh nghiệm của các chuyên gia (cần phỏng vấn chi tiết để nắm bắt) .

Khi chúng ta chuyển sang một thế giới với hàng triệu mô hình AI, những chi tiết này Long -bộ dữ liệu đuôi ngày càng trở nên có giá trị. Chủ sở hữu của những bộ dữ liệu này, từ các công ty kế toán lớn như EY đến các nhiếp ảnh gia tự do ở Gaza, đang gấp rút mua những thứ đang nhanh chóng trở thành mặt hàng nóng nhất trong cuộc chạy đua vũ trang AI. Các dịch vụ như Gulp Data ra đời nhằm giúp các doanh nghiệp đánh giá một cách công bằng giá trị dữ liệu của họ.

OpenAI thậm chí còn đưa ra yêu cầu công khai đối với các đối tác dữ liệu, tìm cách sở hữu "các bộ dữ liệu quy mô lớn phản ánh xã hội loài người hiện không dễ dàng được công bố rộng rãi". .

Chúng tôi biết rằng có ít nhất một cách hiệu quả để đáp ứng nhu cầu của người mua và người bán đang tìm kiếm sản phẩm thích hợp, đó là thị trường Internet. Ebay đã tạo ra một nền tảng dành cho đồ sưu tầm, Upwork tạo ra một nền tảng dành cho sức lao động của con người và vô số nền tảng đã tạo ra nền tảng cho vô số danh mục khác. Không có gì đáng ngạc nhiên, chúng ta cũng đang chứng kiến sự xuất hiện của thị trường cho các tập dữ liệu được phân đoạn, một số trong đó được phân cấp.

Bagel đang xây dựng một "cơ sở hạ tầng phổ quát nhân tạo", một bộ công cụ cho phép những người nắm giữ "dữ liệu đa dạng, chất lượng cao" tương tác với nhau một cách không cần tin cậy và riêng tư- cách thức bảo quản các công ty AI chia sẻ dữ liệu của họ. Họ sử dụng các kỹ thuật như không có kiến thức (ZK) và mã hóa đồng hình hoàn toàn (FHE) để đạt được điều này.

Các công ty thường có dữ liệu có giá trị cao nhưng không thể kiếm tiền từ dữ liệu đó do các vấn đề về quyền riêng tư hoặc cạnh tranh. Ví dụ: phòng thí nghiệm nghiên cứu có thể sở hữu lượng lớn dữ liệu gen nhưng không thể chia sẻ dữ liệu đó để bảo vệ quyền riêng tư của bệnh nhân hoặc nhà sản xuất hàng tiêu dùng có thể sở hữu dữ liệu giảm thiểu chất thải trong chuỗi cung ứng nhưng không thể tiết lộ dữ liệu đó mà không tiết lộ bí mật cạnh tranh. Bagel tận dụng những tiến bộ trong mật mã để làm cho các bộ dữ liệu này trở nên hữu ích đồng thời loại bỏ những lo ngại về người phục vụ.

Các dịch vụ proxy dân cư của Grass cũng có thể giúp tạo ra các bộ dữ liệu chuyên biệt. Ví dụ: nếu bạn muốn tinh chỉnh một mô hình cung cấp lời khuyên nấu ăn chuyên nghiệp, bạn có thể yêu cầu Grass thu thập dữ liệu từ các subreddit Reddit như r/Cooking và r/AskCulinary. Tương tự như vậy, những người tạo mô hình định hướng du lịch có thể yêu cầu Grass thu thập dữ liệu từ các diễn đàn TripAdvisor.

Mặc dù đây không phải là nguồn dữ liệu hoàn toàn độc quyền nhưng chúng vẫn có thể là nguồn bổ sung có giá trị cho các tập dữ liệu khác. Grass cũng có kế hoạch sử dụng mạng của mình để tạo các bộ dữ liệu lưu trữ mà bất kỳ khách hàng nào cũng có thể sử dụng lại.

Dữ liệu ở cấp độ ngữ cảnh

Hãy thử hỏi LLM yêu thích của bạn "ngắn hạn đào tạo của bạn Khi nào là ngày?" Bạn sẽ nhận được câu trả lời như tháng 11 năm 2023. Điều này có nghĩa là mô hình cơ sở chỉ cung cấp thông tin có sẵn trước ngày đó. Điều này có thể hiểu được khi bạn xem xét mức độ tốn thời gian và công sức tính toán của việc đào tạo các mô hình này (hoặc thậm chí tinh chỉnh chúng).

Để cập nhật chúng theo thời gian thực, bạn sẽ phải đào tạo và triển khai một mô hình mới mỗi ngày, điều này đơn giản là không thể (ít nhất là ở thời điểm hiện tại).

Tuy nhiên, đối với nhiều trường hợp sử dụng, AI sẽ vô dụng nếu không có thông tin cập nhật về thế giới. Ví dụ: nếu tôi đang sử dụng trợ lý kỹ thuật số cá nhân dựa trên phản hồi từ LLM, những trợ lý đó sẽ gặp bất lợi khi được yêu cầu tóm tắt các email chưa đọc hoặc cung cấp cầu thủ ghi bàn cho trận đấu gần đây nhất của Liverpool.

Để vượt qua những hạn chế này và cung cấp phản hồi cho người dùng dựa trên thông tin thời gian thực, các nhà phát triển ứng dụng có thể truy vấn và chèn thông tin vào "cửa sổ ngữ cảnh" được gọi là mô hình cơ sở. Nhập văn bản. Cửa sổ ngữ cảnh là văn bản đầu vào mà LLM có thể xử lý để tạo phản hồi. Nó được đo bằng mã thông báo và thể hiện văn bản mà LLM có thể "nhìn thấy" tại bất kỳ thời điểm nào.

Vì vậy, khi tôi yêu cầu trợ lý kỹ thuật số tóm tắt các email chưa đọc của mình, trước tiên ứng dụng sẽ truy vấn nhà cung cấp email của tôi để lấy nội dung của tất cả các email chưa đọc, chèn phản hồi vào lời nhắc được gửi tới LLM và thêm lời nhắc như "Tôi đã cung cấp danh sách các email chưa đọc từ hộp thư đến của Shlok. Vui lòng tóm tắt chúng." Với bối cảnh mới này, LLM có thể hoàn thành các nhiệm vụ và đưa ra phản hồi. Hãy coi quy trình này giống như thể bạn sao chép-dán một email vào ChatGPT và yêu cầu nó tạo phản hồi nhưng quá trình này diễn ra trong nền.

Để tạo ứng dụng có phản hồi cập nhật, nhà phát triển cần truy cập vào dữ liệu thời gian thực. Các nút cỏ có thể thu thập dữ liệu từ bất kỳ trang web nào trong thời gian thực, cung cấp cho các nhà phát triển dữ liệu thời gian thực có độ trễ thấp và đơn giản hóa quy trình làm việc của thế hệ tăng cường ngữ cảnh (RAG).

Đây cũng chính là nơi Masa hiện diện ngày nay. Hiện tại, Alphabet, Meta và X là những nền tảng lớn duy nhất có dữ liệu người dùng được cập nhật liên tục nhờ cơ sở người dùng của họ. Masa tạo sân chơi bình đẳng cho các công ty khởi nghiệp nhỏ.

Thuật ngữ kỹ thuật cho quy trình này là Tạo tăng cường truy xuất (RAG). Quy trình công việc RAG là cốt lõi của tất cả các ứng dụng LLM hiện đại. Quá trình này bao gồm việc vector hóa văn bản, chuyển đổi văn bản thành các mảng số có thể dễ dàng diễn giải, thao tác, lưu trữ và tìm kiếm bằng máy tính.

Grass có kế hoạch phát hành các nút phần cứng vật lý trong tương lai để cung cấp cho khách hàng dữ liệu thời gian thực được vector hóa, có độ trễ thấp nhằm hợp lý hóa quy trình làm việc RAG của họ.

Hầu hết những người trong ngành đều dự đoán rằng các truy vấn ở cấp độ ngữ cảnh (còn được gọi là suy luận) sẽ sử dụng phần lớn tài nguyên (năng lượng, điện toán, dữ liệu) trong tương lai. Điều này thật ý nghĩa. Đào tạo mô hình luôn là một quá trình có giới hạn thời gian và tiêu tốn một lượng phân bổ nguồn lực nhất định. Mặt khác, việc sử dụng ở cấp độ ứng dụng có thể có những yêu cầu không giới hạn về mặt lý thuyết.

Grass đã nhận thấy điều này, với phần lớn yêu cầu về dữ liệu văn bản đến từ những khách hàng muốn có dữ liệu thời gian thực.

Cửa sổ ngữ cảnh của LLM mở rộng theo thời gian. Khi OpenAI lần đầu phát hành ChatGPT, cửa sổ ngữ cảnh của nó là 32.000 token. Chưa đầy hai năm sau, cửa sổ theo ngữ cảnh của mô hình Gemini của Google đã vượt quá 1 triệu mã thông báo. Một triệu token tương đương với 11 cuốn sách 300 trang—rất nhiều văn bản.

Những bước phát triển này cho phép các cửa sổ nội dung xây dựng nội dung có tác động vượt xa khả năng truy cập thông tin theo thời gian thực. Ví dụ: ai đó có thể đưa lời bài hát của tất cả các bài hát của Taylor Swift hoặc toàn bộ kho lưu trữ của bản tin này vào cửa sổ ngữ cảnh và yêu cầu LLM tạo nội dung mới theo phong cách tương tự.

Trừ khi được lập trình rõ ràng không cho phép, mô hình sẽ cho kết quả đầu ra khá tốt.

Nếu bạn có thể đoán được cuộc thảo luận này sẽ đi đến đâu, hãy chuẩn bị sẵn sàng cho nội dung thảo luận tiếp theo. Cho đến nay, chúng ta chủ yếu thảo luận về các mô hình văn bản, nhưng các mô hình tổng quát đang ngày càng hoạt động tốt trên các phương thức khác như tạo âm thanh, hình ảnh và video. Gần đây tôi tình cờ thấy bức minh họa thực sự thú vị này về London của Orkhan Isayen trên Twitter.

Midjourney, một công cụ chuyển văn bản thành hình ảnh phổ biến và xuất sắc, có một Một tính năng có tên Style Tuner có thể tạo ra hình ảnh mới có phong cách tương tự với hình ảnh hiện có (tính năng này cũng dựa trên quy trình làm việc giống RAG, nhưng không hoàn toàn giống nhau). Tôi đã tải lên hình minh họa do con người tạo ra về Orkhan và sử dụng công cụ sửa đổi kiểu để nhắc Midjourney thay đổi thành phố thành New York. Đây là những gì tôi nhận được:

Bốn hình ảnh nếu bạn duyệt qua các hình minh họa của họa sĩ có thể dễ dàng bị nhầm lẫn với công việc của họ. Hình ảnh được AI tạo ra trong 30 giây dựa trên một hình ảnh đầu vào. Tôi đã yêu cầu "New York", nhưng chủ đề thực sự có thể là bất cứ thứ gì. Có thể nhân rộng tương tự ở các phương thức khác, chẳng hạn như âm nhạc.

Hãy nhớ lại phần chúng ta đã thảo luận trước đó, trong đó một trong những đơn vị kiện các công ty AI là người sáng tạo, bạn có thể hiểu tại sao họ lại có lý.

Internet mang lại lợi ích cho những người sáng tạo, cho phép họ chia sẻ câu chuyện, tác phẩm nghệ thuật, âm nhạc và các hình thức thể hiện sáng tạo khác của mình với thế giới; 1000 fan chân chính. Giờ đây, nền tảng toàn cầu đó đang nổi lên như mối đe dọa lớn nhất đối với sinh kế của họ.

Tại sao phải trả cho Orkhan khoản hoa hồng 500 đô la khi bạn có thể nhận được một sản phẩm tương tự đủ tốt với đăng ký Midjourney 30 đô la/tháng?

Nghe có vẻ lạc hậu nhỉ?

Điều tuyệt vời về công nghệ là nó hầu như luôn tìm ra giải pháp cho những vấn đề mà nó tạo ra. Nếu bạn lật ngược tình thế với những người sáng tạo dường như đang chống lại họ, bạn sẽ thấy có cơ hội chưa từng có để kiếm tiền từ tài năng của họ.

Trước AI, số lượng sản phẩm mà Orkhan có thể tạo ra bị giới hạn theo thời gian trong ngày. Với AI, về mặt lý thuyết, họ có thể phục vụ số lượng khách hàng không giới hạn.

Để hiểu ý tôi, chúng ta hãy xem elf.tech, nền tảng âm nhạc AI của nhạc sĩ Grimes. Elf Tech cho phép bạn tải lên bản ghi âm của một bài hát và nó sẽ biến nó thành âm thanh và phong cách của Grimes. Mọi khoản tiền bản quyền kiếm được từ các bài hát sẽ được chia 50-50 giữa Grimes và người sáng tạo. Điều này có nghĩa là với tư cách là người hâm mộ Grimes hoặc người hâm mộ âm thanh, âm nhạc hoặc bản phát hành của cô ấy, bạn chỉ cần nảy ra ý tưởng bài hát và nền tảng sẽ sử dụng AI để biến ý tưởng đó thành âm thanh của Grimes.

Nếu bài hát này trở thành hit, cả bạn và Grimes đều được hưởng lợi. Điều này cũng cho phép Grimes mở rộng tài năng của mình một cách thụ động và tận dụng khả năng phát hành của mình.

TRINITI là công nghệ cốt lõi của elf.tech, được phát triển bởi CreateSafe. Bài báo của họ tiết lộ một trong những điểm giao thoa thú vị nhất mà chúng tôi thấy trước giữa blockchain và công nghệ AI tổng hợp.

Mở rộng định nghĩa về nội dung kỹ thuật số với các hợp đồng thông minh do người sáng tạo kiểm soát và hình dung lại hoạt động phân phối thông qua quyền truy cập thanh toán ngang hàng dựa trên blockchain vào các giao dịch vi mô, cho phép bất kỳ người truyền phát nào nền tảng cho phép xác thực ngay lập tức và truy cập vào nội dung số. Sau đó, AI được tạo để thực hiện các khoản thanh toán vi mô tức thời và truyền trải nghiệm đến người tiêu dùng dựa trên các điều khoản do người tạo chỉ định.

Balaji tóm tắt nó một cách đơn giản hơn.

Với sự xuất hiện của các phương tiện truyền thông mới, chúng tôi mong muốn hiểu được con người sẽ như thế nào tương tác với các tương tác và khi kết hợp với mạng, chúng trở thành động cơ thay đổi mạnh mẽ. Sách đã thúc đẩy Cách mạng Tin lành, đài phát thanh và truyền hình là những phần quan trọng của Chiến tranh Lạnh, và các phương tiện truyền thông thường là con dao hai lưỡi có thể được sử dụng cho mục đích tốt hoặc xấu.

Ngày nay, những gì chúng ta có là các công ty tập trung với lượng dữ liệu người dùng khổng lồ. Giống như chúng ta tin tưởng công ty của mình sẽ làm điều đúng đắn cho sự sáng tạo, sức khỏe tinh thần và xã hội tốt đẹp hơn của chúng ta, trao rất nhiều quyền lực cho một số ít công ty, nhưng chúng ta hầu như không biết nội bộ hoạt động của nhiều công ty trong số đó.

Chúng ta đang ở giai đoạn đầu của cuộc cách mạng LLM. Giống như Ethereum vào năm 2016, chúng ta hầu như không biết loại ứng dụng nào có thể được xây dựng với chúng. Một LLM có thể giao tiếp với bà tôi bằng tiếng Hindi? Một tác nhân có thể tìm thấy dữ liệu chất lượng cao trong nhiều luồng thông tin khác nhau? Một cơ chế để các cá nhân đóng góp chia sẻ các sắc thái văn hóa cụ thể (như tiếng lóng)? Chúng tôi vẫn chưa biết rõ điều gì có thể xảy ra.

Tuy nhiên, rõ ràng là việc xây dựng các ứng dụng này sẽ bị giới hạn bởi một thành phần chính: dữ liệu.

Các giao thức như Grass, Masa và Bagel là cơ sở hạ tầng để truy cập và tạo điều kiện cho việc truy cập một cách công bằng. Trí tưởng tượng của con người là giới hạn mà nó được xây dựng trên đó. Điều này có vẻ thú vị với tôi.

Liên kết gốc

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia