Tiêu đề gốc: Luận án AI về tiền điện tử của chúng tôi (Phần II): Điện toán phi tập trung là vua

Tác giả gốc: Teng Yan, nhà nghiên cứu mã hóa

Bản tổng hợp gốc: Deep Wave TechFlow

Chào buổi sáng! Cuối cùng nó cũng ở đây.

Nội dung toàn bộ bài viết của chúng tôi khá phong phú nhằm giúp mọi người dễ hiểu hơn (và tránh vượt quá giới hạn kích thước của nhà cung cấp dịch vụ email) , Tôi quyết định chia nó thành nhiều phần, sẽ chia sẻ dần dần trong tháng tới. Bây giờ, hãy bắt đầu!

Một sai lầm to lớn mà tôi không bao giờ quên được.

Sự việc này vẫn khiến tôi trăn trở vì đó là cơ hội hiển nhiên mà ai để ý đến thị trường đều có thể nhìn thấy, nhưng tôi đã bỏ lỡ, Không một xu đầu tư.

Không, đây không phải là kẻ giết người Solana tiếp theo hay một memecoin về một chú chó đội chiếc mũ ngộ nghĩnh.

Đó là... NVIDIA.

Hiệu suất giá cổ phiếu từ đầu năm đến nay của NVDA. Nguồn: Google

Chỉ trong một năm, vốn hóa thị trường của NVIDIA đã tăng từ 1 nghìn tỷ USD lên 3 nghìn tỷ USD và giá cổ phiếu của nó tăng gấp ba lần, thậm chí trong cùng thời gian đó còn vượt trội hơn Bitcoin.

Tất nhiên, một số điều này là do cơn sốt AI thúc đẩy. Nhưng quan trọng hơn, sự tăng trưởng này có cơ sở vững chắc trên thực tế. Doanh thu của NVIDIA đạt 60 tỷ USD trong năm tài chính 2024, tăng 126% so với năm 2023. Đằng sau sự tăng trưởng đáng kinh ngạc này là sự đổ xô mua GPU của các công ty công nghệ toàn cầu để nắm bắt cơ hội trong cuộc chạy đua vũ trang về trí tuệ nhân tạo nói chung (AGI).

Tại sao tôi lại bỏ lỡ nó?

Trong hai năm qua, sự chú ý của tôi hoàn toàn tập trung vào lĩnh vực tiền điện tử và tôi chưa chú ý đến sự phát triển của AI cánh đồng. Đây là một sai lầm lớn mà tôi hối hận cho đến ngày nay.

Nhưng lần này, tôi sẽ không phạm sai lầm tương tự nữa.

AI tiền điện tử ngày nay mang lại cho tôi cảm giác déjà vu.

Chúng tôi đang đứng trước sự bùng nổ của đổi mới. Nó có nét tương đồng đáng kinh ngạc với Cơn sốt vàng California vào giữa thế kỷ 19 – các ngành công nghiệp và thành phố mọc lên chỉ sau một đêm, cơ sở hạ tầng phát triển nhanh chóng và những ai dám mạo hiểm sẽ kiếm được nhiều tiền.

Giống như NVIDIA trong những ngày đầu thành lập, Crypto AI khi nhìn lại sẽ rất rõ ràng.

Crypto AI: cơ hội đầu tư với tiềm năng không giới hạn

Trong TôiTrong phần đầu tiên của bài viết, tôi đã giải thích lý do tại sao Crypto AI là cơ hội tiềm năng hấp dẫn nhất hiện nay cho cả nhà đầu tư và nhà phát triển. Dưới đây là những điểm chính cần rút ra:

· Nhiều người vẫn coi đây là "lâu đài trên không".

· AI tiền điện tử hiện đang ở giai đoạn đầu và có thể còn 1-2 năm nữa mới đạt đến đỉnh cao.

· Khu vực này có tiềm năng tăng trưởng ít nhất 230 tỷ USD.

Crypto AI Về cốt lõi, nó kết hợp trí tuệ nhân tạo với cơ sở hạ tầng mật mã. Điều này khiến nó có nhiều khả năng đi theo quỹ đạo tăng trưởng theo cấp số nhân của AI hơn là đi theo thị trường tiền điện tử rộng lớn hơn. Vì vậy, để đón đầu xu hướng, bạn cần theo dõi nghiên cứu AI mới nhất về Arxiv và nói chuyện với những người sáng lập tin rằng họ đang xây dựng điều lớn lao tiếp theo.

Bốn lĩnh vực cốt lõi của AI tiền điện tử

In my In Phần thứ hai của bài viết, tôi sẽ tập trung phân tích bốn lĩnh vực con hứa hẹn nhất trong Crypto AI:

1. thị trường

2. Mạng dữ liệu

3. Các tác nhân AI có thể xác minh được

4. Bài viết này là kết quả của nhiều tuần nghiên cứu chuyên sâu và trao đổi với những người sáng lập và nhóm trong lĩnh vực Crypto AI. Đây không phải là bản phân tích chi tiết về từng lĩnh vực mà là một lộ trình cấp cao được thiết kế để kích thích trí tò mò của bạn, giúp bạn tối ưu hóa hướng nghiên cứu và định hướng các quyết định đầu tư của mình.

Bản thiết kế sinh thái của Crypto AI

Tôi tưởng tượng hệ sinh thái AI phi tập trung như một cấu trúc phân cấp: bắt đầu với các mạng dữ liệu mở và điện toán phi tập trung ở một đầu, những mạng này cung cấp cơ sở cho việc đào tạo các mô hình AI phi tập trung.

Tất cả đầu vào và đầu ra suy luận đều được xác minh thông qua mật mã, khuyến khích kinh tế tiền điện tử và mạng đánh giá. Những kết quả đã được xác minh này sẽ chuyển đến các tác nhân AI chạy tự động trên chuỗi, cũng như các ứng dụng AI dành cho người tiêu dùng và doanh nghiệp mà người dùng có thể tin tưởng.

Mạng lưới phối hợp kết nối toàn bộ hệ sinh thái để đạt được sự giao tiếp và cộng tác liền mạch.

Trong tầm nhìn này, bất kỳ nhóm nào tham gia phát triển AI đều có thể truy cập vào một hoặc nhiều cấp độ của hệ sinh thái theo nhu cầu riêng của họ. Cho dù tận dụng điện toán phi tập trung để đào tạo mô hình hay đánh giá mạng để đảm bảo đầu ra chất lượng cao, hệ sinh thái đều cung cấp các tùy chọn đa dạng.

Nhờ khả năng kết hợp của blockchain, tôi tin rằng chúng ta đang hướng tới một tương lai mô-đun. Mỗi lớp sẽ có tính chuyên môn hóa cao và các giao thức sẽ được tối ưu hóa cho các chức năng cụ thể thay vì một giải pháp tất cả trong một.

Trong những năm gần đây, các nhóm công nghệ AI phi tập trung đã xuất hiện ở mọi lớp. số lượng các công ty khởi nghiệp xuất hiện, thể hiện sự tăng trưởng bùng nổ “kiểu Cambri”. Hầu hết các doanh nghiệp này chỉ mới 1-3 tuổi. Điều này cho thấy: chúng tôi vẫn đang ở giai đoạn đầu của ngành này.

Phiên bản cập nhật và toàn diện nhất của bản đồ hệ sinh thái khởi nghiệp Crypto AI mà tôi từng thấy được Casey và nhóm của cô ấy duy trì tại topology.vc. Đây là nguồn tài liệu không thể thiếu cho những ai muốn theo dõi sự phát triển trong lĩnh vực này.

Khi tìm hiểu sâu hơn về các lĩnh vực con khác nhau của Crypto AI, tôi luôn tự hỏi: Cơ hội ở đây lớn đến mức nào? Tôi không tập trung vào các thị trường nhỏ mà tập trung vào những cơ hội lớn có thể quy mô lên tới hàng trăm tỷ đô la.

1. Quy mô thị trường

Khi đánh giá quy mô thị trường, tôi sẽ tự hỏi: Liệu trường con này có tạo ra một thị trường hoàn toàn mới không? , hay bạn đang phá vỡ thị trường hiện tại?

Lấy điện toán phi tập trung làm ví dụ. Đây là một lĩnh vực mang tính đột phá điển hình. Chúng ta có thể ước tính tiềm năng của nó thông qua thị trường điện toán đám mây hiện có. Hiện tại, thị trường điện toán đám mây có quy mô xấp xỉ 680 tỷ USD và dự kiến sẽ đạt 2,5 nghìn tỷ USD vào năm 2032.

Ngược lại, các thị trường hoàn toàn mới như tác nhân AI lại khó định lượng hơn. Do thiếu dữ liệu lịch sử, chúng tôi chỉ có thể đưa ra ước tính thông qua các phán đoán trực quan và suy đoán hợp lý về khả năng giải quyết vấn đề của nó. Nhưng chúng ta cần cảnh giác rằng đôi khi một sản phẩm tưởng chừng như là một thị trường hoàn toàn mới thực chất chỉ là sản phẩm của việc “tìm ra giải pháp cho một vấn đề”.

2. Thời điểm

Thời điểm là chìa khóa thành công . Mặc dù công nghệ nhìn chung được cải thiện và trở nên rẻ hơn theo thời gian nhưng tốc độ tiến bộ rất khác nhau trong các lĩnh vực khác nhau.

Công nghệ trong một lĩnh vực con nhất định đã trưởng thành đến mức nào? Nó có đủ trưởng thành để ứng dụng quy mô lớn không? Hay nó vẫn đang trong giai đoạn nghiên cứu, còn nhiều năm nữa mới có thể áp dụng vào thực tế? Thời điểm xác định xem một lĩnh vực nào đó có đáng được quan tâm ngay lập tức hay không hoặc liệu nó có nên bị loại bỏ hay không.

Lấy Mã hóa hoàn toàn đồng hình (FHE) làm ví dụ: tiềm năng của nó là không thể phủ nhận, nhưng hiệu suất kỹ thuật hiện tại vẫn còn quá chậm để được hiện thực hóa. Ứng dụng trên quy mô lớn. Có thể phải mất vài năm nữa chúng ta mới thấy nó xuất hiện trên thị trường phổ thông. Do đó, tôi sẽ ưu tiên những lĩnh vực mà công nghệ gần được áp dụng trên quy mô lớn và tập trung thời gian cũng như sức lực của mình vào những cơ hội đang có đà phát triển.

Nếu các trường con này được vẽ theo kiểu "quy mô thị trường và cơ hội " Trên biểu đồ, bố cục có thể trông như thế này. Điều quan trọng cần lưu ý là đây chỉ là bản phác thảo mang tính khái niệm chứ không phải là hướng dẫn nghiêm ngặt. Ngoài ra còn có sự phức tạp trong mỗi miền—ví dụ: trong suy luận có thể kiểm chứng, các phương pháp khác nhau (chẳng hạn như zkML và opML) đang ở các giai đoạn trưởng thành công nghệ khác nhau.

Mặc dù vậy, tôi tin chắc rằng tương lai của AI sẽ vô cùng rộng lớn. Ngay cả một lĩnh vực ngày nay có vẻ “ngách” cũng có thể phát triển thành một thị trường quan trọng trong tương lai.

Đồng thời, chúng ta cũng phải nhận ra rằng tiến bộ công nghệ không phải lúc nào cũng phát triển theo đường thẳng - nó thường tiến bộ theo những bước nhảy vọt. Khi những đột phá công nghệ mới xuất hiện, quan điểm của tôi về thời điểm và quy mô thị trường sẽ điều chỉnh cho phù hợp.

Dựa trên khuôn khổ trên, sau đó chúng tôi sẽ loại bỏ từng lĩnh vực phụ của Crypto AI và khám phá tiềm năng phát triển cũng như cơ hội đầu tư của chúng.

Lĩnh vực 1: Máy tính phi tập trung

Tóm tắt

· Điện toán phi tập trung là trụ cột cốt lõi của toàn bộ AI phi tập trung.

· Thị trường GPU, đào tạo phi tập trung và suy luận phi tập trung có liên quan chặt chẽ với nhau và phát triển song song.

· Phía cung cấp chủ yếu đến từ các trung tâm dữ liệu vừa và nhỏ và thiết bị GPU tiêu dùng thông thường.

· Phía cầu hiện còn nhỏ nhưng đang dần tăng lên, chủ yếu bao gồm những người dùng nhạy cảm về giá và có yêu cầu về độ trễ thấp, cũng như một số AI nhỏ hơn khởi nghiệp.

· Thách thức lớn nhất hiện nay đối với thị trường GPU Web3 là làm thế nào để các mạng này hoạt động hiệu quả.

· Việc phối hợp sử dụng GPU trong mạng phi tập trung đòi hỏi các kỹ thuật kỹ thuật tiên tiến và thiết kế kiến trúc mạng mạnh mẽ.

Thị trường GPU/Mạng máy tính 1.1

Hiện tại, một số nhóm Crypto AI đang xây dựng mạng GPU phi tập trung để tận dụng nguồn tài nguyên máy tính chưa được sử dụng đúng mức của thế giới nhằm đối phó với tình trạng hiện tại khi nhu cầu GPU vượt xa nguồn cung.

Giá trị cốt lõi của các thị trường GPU này có thể được tóm tắt thành ba điểm sau:

Chi phí tính toán có thể thấp hơn tới 90% so với AWS. Chi phí thấp này đến từ hai khía cạnh: một là loại bỏ người trung gian, hai là sự mở cửa của phía cung. Những thị trường này cho phép người dùng truy cập tài nguyên máy tính với chi phí cận biên thấp nhất thế giới.

1. Không cần ràng buộc hợp đồng dài hạn, không cần xác minh danh tính (KYC), không cần chờ phê duyệt.

2. Chống lại sự kiểm duyệt

3. của thị trường, những thứ này Thị trường lấy tài nguyên điện toán từ các nguồn sau:

· GPU doanh nghiệp:Hiệu suất cao như A100 và H100 GPU, những thiết bị này thường đến từ các trung tâm dữ liệu vừa và nhỏ (đang gặp khó khăn trong việc tìm đủ khách hàng khi hoạt động độc lập) hoặc từ các công ty khai thác Bitcoin đang tìm cách đa dạng hóa nguồn doanh thu của họ. Ngoài ra, có những nhóm đang tận dụng các dự án cơ sở hạ tầng lớn do chính phủ tài trợ để xây dựng các trung tâm dữ liệu lớn như một phần của quá trình phát triển công nghệ. Các nhà cung cấp này thường được khuyến khích duy trì kết nối GPU với mạng để giúp bù đắp chi phí khấu hao của thiết bị.

· GPU tiêu dùng: Hàng triệu game thủ và người dùng gia đình kết nối máy tính của họ với mạng và kiếm tiền thông qua phần thưởng Token.

Hiện tại, phía cầu của điện toán phi tập trung chủ yếu bao gồm các loại người dùng sau:

1. Người dùng nhạy cảm về giá và có yêu cầu về độ trễ thấp: Ví dụ: các nhà nghiên cứu có ngân sách hạn chế, nhà phát triển AI độc lập, v.v. Họ quan tâm đến chi phí hơn là khả năng xử lý theo thời gian thực. Do hạn chế về ngân sách, họ thường không đủ khả năng chi trả chi phí cao cho những gã khổng lồ về dịch vụ đám mây truyền thống như AWS hay Azure. Tiếp thị chính xác nhắm mục tiêu vào nhóm này là rất quan trọng.

2. Các công ty khởi nghiệp AI nhỏ: Các công ty này cần tài nguyên điện toán linh hoạt và có thể mở rộng nhưng không muốn cạnh tranh với các Nhà cung cấp dịch vụ đám mây lớn ký hợp đồng dài hạn. Việc thu hút nhóm này sẽ đòi hỏi phải tăng cường hợp tác kinh doanh vì họ đang tích cực tìm kiếm các giải pháp thay thế cho điện toán đám mây truyền thống.

3. Các công ty khởi nghiệp về tiền điện tử AI: Các công ty này đang phát triển các sản phẩm AI phi tập trung nhưng không có tài nguyên máy tính của riêng họ, Cần phải dựa vào những sản phẩm này mạng lưới phi tập trung.

4. Chơi game trên đám mây: Mặc dù không liên quan trực tiếp đến AI,nhu cầu về tài nguyên GPU trong chơi game trên đám mây là rất lớn tăng trưởng nhanh.

Điều quan trọng cần nhớ là: các nhà phát triển luôn ưu tiên chi phí và độ tin cậy.

Thách thức thực sự: cầu chứ không phải cung

Nhiều công ty khởi nghiệp sẽ cung cấp GPU Kích thước của mạng lưới được coi là dấu hiệu của sự thành công nhưng trên thực tế, nó chỉ là một “thước đo phù phiếm”.

Nút thắt thực sự nằm ở phía cầu chứ không phải ở phía cung. Thước đo chính cho sự thành công không phải là có bao nhiêu GPU trong mạng mà là việc sử dụng GPU và bao nhiêu GPU thực sự được thuê.

Cơ chế khuyến khích Token rất hiệu quả trong việc khởi xướng phía cung và có thể nhanh chóng thu hút các nguồn lực tham gia mạng lưới. Nhưng chúng không trực tiếp giải quyết vấn đề thiếu cầu. Thử nghiệm thực tế là liệu sản phẩm có thể được đánh bóng ở trạng thái đủ tốt để khơi dậy nhu cầu tiềm ẩn hay không.

Như Haseeb Qureshi (của Dragonfly) nói, đây chính là chìa khóa.

Hãy để mạng máy tính thực sự hoạt động

Hiện tại, thách thức lớn nhất đối với thị trường GPU phân tán Web3 thực sự là làm thế nào để các mạng này hoạt động hiệu quả.

Đây không phải là chuyện đơn giản.

Điều phối GPU trong mạng phân tán là một nhiệm vụ cực kỳ phức tạp liên quan đến nhiều khó khăn kỹ thuật, chẳng hạn như phân bổ tài nguyên, chia tỷ lệ khối lượng công việc động, tải cân bằng các nút và GPU, quản lý độ trễ, truyền dữ liệu, khả năng chịu lỗi và cách xử lý các thiết bị phần cứng đa dạng được phân phối trên toàn thế giới. Những vấn đề này chồng chất lên nhau, đặt ra những thách thức lớn về mặt kỹ thuật.

Việc giải quyết những vấn đề này đòi hỏi khả năng kỹ thuật và kỹ thuật rất vững chắc cũng như kiến trúc mạng mạnh mẽ và được thiết kế tốt.

Để hiểu rõ hơn về điều này, hãy xem xét hệ thống Kubernetes của Google. Kubernetes được nhiều người coi là tiêu chuẩn vàng trong việc điều phối vùng chứa, tự động hóa các tác vụ như cân bằng tải và mở rộng quy mô trong môi trường phân tán rất giống với những thách thức mà mạng GPU phân tán phải đối mặt. Điều đáng chú ý là Kubernetes được phát triển dựa trên hơn mười năm kinh nghiệm tính toán phân tán của Google, mặc dù vậy, phải mất vài năm để hoàn thiện thông qua các lần lặp lại liên tục.

Hiện tại, một số thị trường điện toán GPU đã trực tuyến có thể xử lý khối lượng công việc quy mô nhỏ, nhưng một khi bạn cố gắng mở rộng quy mô lớn hơn, các vấn đề sẽ xảy ra để lộ ra. Điều này có thể là do thiết kế kiến trúc của họ về cơ bản có sai sót.

Vấn đề về độ tin cậy: Thách thức và Cơ hội

Một mạng máy tính phi tập trung khác cần có Vấn đề quan trọng cần giải quyết đã giải quyết được vấn đề làm thế nào để đảm bảo độ tin cậy của các nút, tức là làm thế nào để xác minh xem mỗi nút có thực sự cung cấp sức mạnh tính toán mà nó yêu cầu hay không. Hiện tại, quy trình xác minh này chủ yếu dựa vào hệ thống danh tiếng của mạng, đôi khi các nhà cung cấp máy tính được xếp hạng dựa trên điểm danh tiếng. Công nghệ chuỗi khối có lợi thế tự nhiên trong lĩnh vực này vì nó có thể thực hiện cơ chế xác minh không cần sự tin cậy. Một số công ty khởi nghiệp, chẳng hạn như Gensyn và Spheron, đang khám phá cách giải quyết vấn đề này bằng các phương pháp tiếp cận không cần sự tin cậy.

Hiện tại, nhiều nhóm Web3 vẫn đang phải vật lộn với những thách thức này, điều đó có nghĩa là cơ hội trong lĩnh vực này vẫn còn rất lớn.

Quy mô của thị trường máy tính phi tập trung

Vì vậy, thị trường cho các mạng máy tính phi tập trung Như thế nào lớn lắm phải không?

Hiện tại, nó chỉ chiếm một phần rất nhỏ trong thị trường điện toán đám mây toàn cầu, ước tính trị giá từ 680 tỷ USD đến 2,5 nghìn tỷ USD. Tuy nhiên, miễn là chi phí của điện toán phi tập trung thấp hơn so với chi phí của các nhà cung cấp dịch vụ đám mây truyền thống thì sẽ có nhu cầu, ngay cả khi có thêm một số trở ngại trong trải nghiệm người dùng.

Tôi tin rằng chi phí của điện toán phi tập trung sẽ vẫn ở mức thấp trong ngắn và trung hạn. Điều này chủ yếu là do hai khía cạnh: một là trợ cấp Token và thứ hai là mở khóa nguồn cung từ những người dùng không nhạy cảm về giá. Ví dụ: nếu tôi có thể cho thuê máy tính xách tay chơi game của mình để kiếm thêm tiền, cho dù đó là 20 đô la hay 50 đô la một tháng, tôi sẽ hài lòng với điều đó.

Tiềm năng tăng trưởng thực sự của mạng máy tính phi tập trung và quy mô thị trường của chúng Việc mở rộng đáng kể sẽ dựa vào các yếu tố chính sau:

1. Tính khả thi của việc đào tạo mô hình AI phi tập trung:Khi nào mạng có thể được phi tập trung hóa hỗ trợ đào tạo các mô hình AI sẽ mang lại nhu cầu thị trường rất lớn.

2. Sự bùng nổ của nhu cầu suy luận: Khi nhu cầu về suy luận AI tăng cao, các trung tâm dữ liệu hiện tại có thể không đáp ứng được nhu cầu này . Trên thực tế, xu hướng này đã bắt đầu xuất hiện. Jensen Huang của NVIDIA cho biết nhu cầu suy luận sẽ tăng “hàng tỷ lần”.

3. Giới thiệu Thỏa thuận cấp độ dịch vụ (SLA): Hiện tại, điện toán phi tập trung chủ yếu áp dụng cách tiếp cận "nỗ lực tối đa" để cung cấp dịch vụ , người dùng có thể gặp phải sự không chắc chắn về chất lượng dịch vụ (chẳng hạn như thời gian hoạt động). Với SLA, các mạng này có thể cung cấp các số liệu hiệu suất và độ tin cậy được tiêu chuẩn hóa, phá bỏ các rào cản chính đối với việc áp dụng doanh nghiệp và biến điện toán phi tập trung trở thành một giải pháp thay thế khả thi cho điện toán đám mây truyền thống.

Điện toán phi tập trung, không cần cấp phép là lớp nền tảng của hệ sinh thái AI phi tập trung và là một trong những cơ sở hạ tầng quan trọng nhất của nó.

Mặc dù chuỗi cung ứng phần cứng như GPU đang mở rộng nhưng tôi tin rằng chúng ta vẫn đang ở buổi bình minh của "kỷ nguyên trí tuệ con người". Trong tương lai, nhu cầu về sức mạnh tính toán sẽ là vô tận.

Hãy chú ý đến một điểm uốn quan trọng có thể khiến thị trường GPU định giá lại—điểm uốn này có thể sẽ sớm xuất hiện.

Những lưu ý khác:

· Sự cạnh tranh trên thị trường GPU thuần túy rất khốc liệt, không chỉ phân cấp. Sự cạnh tranh giữa các nền tảng cũng phải đối mặt với sự trỗi dậy mạnh mẽ của các nền tảng đám mây mới nổi Web2 AI (như Vast.ai và Lambda).

· Các nút nhỏ (chẳng hạn như 4 GPU H100) có nhu cầu thị trường hạn chế và nhu cầu không lớn. Nhưng nếu muốn tìm nhà cung cấp bán cụm lớn thì gần như không thể vì chúng vẫn có nhu cầu rất cao.

· Liệu nguồn cung cấp tài nguyên máy tính của các giao thức phi tập trung sẽ được củng cố bởi một người chơi thống trị hay sẽ tiếp tục bị phân tán trên nhiều thị trường? Tôi thích cái trước hơn và tin rằng kết quả cuối cùng sẽ là sự phân bổ luật lũy thừa, bởi vì việc hợp nhất thường cải thiện hiệu quả của cơ sở hạ tầng. Tất nhiên, quá trình này sẽ mất thời gian và trong khi đó, sự phân mảnh và hỗn loạn của thị trường sẽ tiếp tục diễn ra.

Các nhà phát triển thích tập trung vào việc xây dựng ứng dụng hơn là dành thời gian xử lý các vấn đề về triển khai và cấu hình. Do đó, thị trường máy tính cần đơn giản hóa những sự phức tạp này và giảm thiểu trở ngại cho người dùng để có được tài nguyên máy tính.

1.2 Đào tạo phi tập trung

Tóm tắt

· Nếu Luật mở rộng là đúng, việc đào tạo thế hệ mô hình AI tiên tiến tiếp theo trong một trung tâm dữ liệu duy nhất trong tương lai sẽ trở nên không khả thi về mặt vật lý.

· Đào tạo các mô hình AI yêu cầu truyền dữ liệu giữa các GPU với số lượng lớn và tốc độ kết nối thấp hơn của các mạng GPU phân tán thường là trở ngại kỹ thuật lớn nhất.

· Các nhà nghiên cứu đang khám phá nhiều giải pháp khác nhau và đã đạt được một số đột phá (chẳng hạn như Open DiLoCo và DisTrO). Những đổi mới công nghệ này sẽ có tác động chồng chéo và thúc đẩy sự phát triển của đào tạo phi tập trung.

· Tương lai của đào tạo phi tập trung có thể tập trung nhiều hơn vào các mô hình nhỏ, chuyên biệt được thiết kế cho các lĩnh vực cụ thể thay vì các mô hình định hướng AGI tiên tiến.

· Với sự phổ biến của OpenAI o1 và các mô hình khác, nhu cầu suy luận sẽ thúc đẩy sự tăng trưởng bùng nổ, điều này cũng tạo ra cơ hội lớn cho các mạng suy luận phi tập trung.

Hãy tưởng tượng điều này: một mô hình AI khổng lồ, có khả năng thay đổi thế giới được phát triển không phải bởi các phòng thí nghiệm bí mật hàng đầu mà bởi hàng triệu người bình thường. GPU của game thủ không còn được sử dụng chỉ để hiển thị đồ họa thú vị trong Call of Duty mà còn để hỗ trợ một thứ gì đó lớn hơn nhiều—một mô hình AI mã nguồn mở, thuộc sở hữu chung mà không có bất kỳ người gác cổng tập trung nào.

Trong tương lai như vậy, các mô hình AI quy mô cơ bản không còn là lĩnh vực độc quyền của các phòng thí nghiệm hàng đầu mà là kết quả của sự tham gia toàn cầu.

Nhưng quay trở lại thực tế, hầu hết hoạt động đào tạo AI hạng nặng vẫn tập trung ở các trung tâm dữ liệu tập trung và xu hướng này có thể không thay đổi trong tương lai.

Các công ty như OpenAI không ngừng mở rộng quy mô cụm GPU khổng lồ của họ. Elon Musk gần đây tiết lộ rằng xAI sắp hoàn thành một trung tâm dữ liệu với tương đương 200.000 GPU H100.

Nhưng vấn đề không chỉ nằm ở số lượng GPU. Google đã đề xuất một chỉ số quan trọng trong bài báo PaLM năm 2022 - Mức sử dụng FLOPS mô hình (MFU), được dùng để đo lường mức sử dụng thực tế sức mạnh tính toán tối đa của GPU. Điều đáng ngạc nhiên là tỷ lệ sử dụng này thường chỉ đạt 35-40%.

Tại sao lại thấp như vậy? Mặc dù hiệu suất GPU đã nhanh chóng được cải thiện nhờ sự tiến bộ của Định luật Moore, nhưng những cải tiến về mạng, bộ nhớ và thiết bị lưu trữ vẫn tụt hậu rất xa, tạo ra những tắc nghẽn đáng kể. Kết quả là GPU thường ở trạng thái rảnh, chờ quá trình truyền dữ liệu hoàn tất.

Hiện tại, chỉ có một lý do cơ bản cho mức độ tập trung cao trong đào tạo AI - tính hiệu quả.

Đào tạo các mô hình lớn dựa trên các công nghệ chủ chốt sau:

· Song song dữ liệu :Chia tập dữ liệu trên nhiều GPU để xử lý song song nhằm tăng tốc quá trình đào tạo.

· Song song mô hình: Phân phối các phần khác nhau của mô hình trên nhiều GPU để khắc phục hạn chế về bộ nhớ.

Những công nghệ này yêu cầu trao đổi dữ liệu thường xuyên giữa các GPU, do đó tốc độ kết nối (tức là tốc độ truyền dữ liệu qua mạng) là rất quan trọng.

Khi các mô hình AI tiên tiến có thể tốn tới 1 tỷ USD để đào tạo thì mỗi mức tăng hiệu quả đều có giá trị.

Các trung tâm dữ liệu tập trung với công nghệ kết nối tốc độ cao cho phép truyền dữ liệu nhanh chóng giữa các GPU, giúp tiết kiệm đáng kể chi phí trong thời gian đào tạo. Đây là điều mà các mạng phi tập trung hiện đang gặp khó khăn để đáp ứng… ít nhất là chưa.

Khắc phục tốc độ kết nối chậm

Nếu bạn nói chuyện với những người hoạt động trong lĩnh vực AI, Nhiều người có thể thẳng thắn nói rằng đào tạo phi tập trung không có tác dụng.

Trong kiến trúc phi tập trung, các cụm GPU không được đặt ở cùng một vị trí vật lý, điều này dẫn đến việc truyền dữ liệu giữa chúng chậm hơn và trở thành nút thắt cổ chai lớn. Quá trình đào tạo yêu cầu đồng bộ hóa và trao đổi dữ liệu GPU ở mọi bước. Khoảng cách càng xa thì độ trễ càng cao. Và độ trễ cao hơn có nghĩa là đào tạo chậm hơn và chi phí tăng lên.

Một nhiệm vụ đào tạo chỉ mất vài ngày để hoàn thành trong trung tâm dữ liệu tập trung có thể mất hai tuần và chi phí cao hơn trong môi trường phi tập trung. Điều này rõ ràng là không khả thi.

Tuy nhiên, điều này đang thay đổi.

Thật thú vị khi mối quan tâm nghiên cứu về đào tạo phân tán đang tăng lên nhanh chóng. Các nhà nghiên cứu đang khám phá đồng thời từ nhiều hướng, bằng chứng là số lượng lớn các kết quả nghiên cứu và bài báo xuất hiện gần đây. Những tiến bộ công nghệ này sẽ có tác động chồng chéo và thúc đẩy sự phát triển của đào tạo phi tập trung.

Ngoài ra, việc thử nghiệm trong môi trường sản xuất thực tế cũng rất quan trọng vì nó có thể giúp chúng ta vượt qua các ranh giới kỹ thuật hiện có.

Hiện tại, một số công nghệ đào tạo phi tập trung đã có khả năng xử lý các mô hình quy mô nhỏ hơn trong môi trường kết nối tốc độ thấp. Và nghiên cứu tiên tiến đang nỗ lực mở rộng các phương pháp này sang các mô hình quy mô lớn hơn.

· Ví dụ, bài báo Open DiCoLo của Prime Intellect đề xuất một cách tiếp cận thực tế: bằng cách chia GPU thành các "đảo", mỗi đảo được hoàn thành trước khi đồng bộ hóa 500 phép tính cục bộ, nhờ đó giảm yêu cầu về băng thông xuống còn 1/500 so với ban đầu. Công nghệ này ban đầu được Google DeepMind phát triển cho các mô hình nhỏ và hiện đã được mở rộng thành công để huấn luyện một mô hình với 10 tỷ tham số và gần đây đã hoàn toàn là nguồn mở.

· Khung DisTrO của Nous Research đột phá hơn nữa, sử dụng công nghệ tối ưu hóa để liên kết Yêu cầu giao tiếp GPU đã giảm tới 10.000 lần trong khi đào tạo thành công mô hình với 1,2 tỷ tham số.

· Động lực tiếp tục. Nous gần đây đã thông báo rằng họ đã hoàn thành quá trình đào tạo trước mô hình 15 tỷ tham số, đường cong tổn thất và tốc độ hội tụ của nó thậm chí còn vượt qua hiệu suất của đào tạo tập trung truyền thống.

(Chi tiết tweet)

Ngoài ra, các phương pháp tiếp cận như SWARM Parallelism và DTFMHE đang khám phá cách đào tạo các mô hình AI quy mô rất lớn trên các loại thiết bị khác nhau, ngay cả những thiết bị có tốc độ và điều kiện kết nối khác nhau.

Một thách thức khác là làm thế nào để quản lý phần cứng GPU đa dạng, đặc biệt là GPU cấp độ người tiêu dùng phổ biến trong các mạng phi tập trung thường có bộ nhớ hạn chế. Vấn đề này đang được giải quyết thông qua mô hình song song (phân phối các lớp khác nhau của mô hình trên nhiều thiết bị).

Tương lai của đào tạo phi tập trung

Hiện nay, quy mô mô hình của các phương pháp đào tạo phi tập trung Vẫn còn xa đứng sau các mô hình tiên tiến nhất (GPT-4 được cho là có gần một nghìn tỷ thông số, gấp 100 lần so với mô hình 10 tỷ tham số của Prime Intellect). Để đạt được quy mô thực sự, chúng ta cần tạo ra những đột phá lớn trong thiết kế kiến trúc mô hình, cơ sở hạ tầng mạng và chiến lược phân bổ nhiệm vụ.

Nhưng chúng ta có thể mạnh dạn tưởng tượng rằng trong tương lai, hoạt động đào tạo phi tập trung có thể thu thập được nhiều sức mạnh tính toán GPU hơn cả trung tâm dữ liệu tập trung lớn nhất.

Pluralis Research (một nhóm đáng được chú ý trong lĩnh vực đào tạo phi tập trung) tin rằng điều này không chỉ có thể xảy ra mà còn là điều không thể tránh khỏi. Các trung tâm dữ liệu tập trung bị giới hạn bởi các điều kiện vật lý như không gian và nguồn điện, trong khi các mạng phi tập trung có thể khai thác các nguồn tài nguyên gần như không giới hạn trên khắp thế giới.

Ngay cả Jensen Huang của NVIDIA cũng đề cập rằng đào tạo phi tập trung không đồng bộ có thể là chìa khóa để giải phóng tiềm năng mở rộng quy mô của AI. Ngoài ra, mạng đào tạo phân tán cũng có khả năng chịu lỗi mạnh hơn.

Do đó, trong một khả năng trong tương lai, các mô hình AI mạnh nhất thế giới sẽ được đào tạo theo phương thức phi tập trung

mạnh mẽ>.

Tầm nhìn này rất thú vị nhưng hiện tại tôi vẫn còn e ngại. Chúng ta cần bằng chứng mạnh mẽ hơn cho thấy việc đào tạo phi tập trung cho các mô hình quy mô rất lớn là khả thi về mặt kỹ thuật và kinh tế.

Tôi nghĩ trường hợp sử dụng tốt nhất cho đào tạo phi tập trung có thể nằm ở các mô hình nguồn mở chuyên biệt, nhỏ hơn được thiết kế cho các trường hợp sử dụng cụ thể và Không cạnh tranh với các mô hình rất lớn, Các mô hình tiên tiến nhắm mục tiêu AGI. Một số kiến trúc nhất định, đặc biệt là các mô hình không phải Transformer, đã chứng tỏ mình rất phù hợp với môi trường phi tập trung.

Ngoài ra, cơ chế khuyến khích Token cũng sẽ là một phần quan trọng trong tương lai. Khi việc đào tạo phi tập trung trở nên khả thi trên quy mô lớn, token có thể khuyến khích và khen thưởng một cách hiệu quả cho những người đóng góp, từ đó thúc đẩy sự phát triển của các mạng này.

Mặc dù còn một chặng đường dài phía trước nhưng những tiến bộ hiện tại rất đáng khích lệ. Những đột phá trong đào tạo phi tập trung sẽ không chỉ mang lại lợi ích cho các mạng phi tập trung mà còn mang lại những khả năng mới cho các công ty công nghệ lớn và các phòng thí nghiệm AI hàng đầu...

1.3 Lý luận phi tập trung

1.3 h2>

Hiện nay, hầu hết tài nguyên tính toán của AI đều tập trung vào việc đào tạo các mô hình lớn. Đang có một cuộc chạy đua vũ trang giữa các phòng thí nghiệm AI hàng đầu để phát triển các mô hình cơ bản mạnh nhất và cuối cùng là AGI.

Nhưng tôi nghĩ rằngsự đầu tư tập trung vào tài nguyên máy tính dành cho đào tạo này sẽ dần chuyển sang suy luận trong vài năm tới. Khi công nghệ AI ngày càng được tích hợp vào các ứng dụng chúng ta sử dụng hàng ngày—từ chăm sóc sức khỏe đến ngành giải trí—các tài nguyên điện toán cần thiết để hỗ trợ suy luận sẽ trở nên quá tải.

Xu hướng này không phải là không có căn cứ. Tính toán quy mô thời gian suy luận đã trở thành một chủ đề nóng trong lĩnh vực AI. OpenAI gần đây đã phát hành phiên bản xem trước/mini của mẫu o1 mới nhất (tên mã: Strawberry), có đặc điểm đáng chú ý là "cần thời gian để suy nghĩ". Cụ thể, nó phân tích các bước cần thực hiện để trả lời một câu hỏi và sau đó thực hiện các bước đó.

Mô hình này được thiết kế cho các nhiệm vụ phức tạp hơn đòi hỏi phải lập kế hoạch, chẳng hạn như giải các câu đố ô chữ và có thể xử lý các vấn đề đòi hỏi khả năng suy luận sâu sắc. Mặc dù nó tạo ra phản hồi chậm hơn nhưng kết quả lại chi tiết và chu đáo hơn. Tuy nhiên, thiết kế này cũng mang lại chi phí vận hành cao, chi phí suy luận gấp 25 lần GPT-4.

Có thể thấy từ xu hướng này rằng bước nhảy vọt tiếp theo về hiệu suất AI sẽ không chỉ dựa vào việc đào tạo các mô hình lớn hơn mà còn dựa vào sức mạnh tính toán của suy luận mở rộng sân khấu.

Nếu bạn muốn biết thêm, có một số nghiên cứu đã chỉ ra:

· Đạt Lấy mẫu lặp lại mở rộng tính toán suy luận và có thể đạt được những cải tiến hiệu suất đáng kể trong nhiều tác vụ.

· Giai đoạn suy luận cũng tuân theo quy luật tỉ lệ hàm mũ (Định luật tỉ lệ).

Sau khi các mô hình AI mạnh mẽ được đào tạo, các nhiệm vụ suy luận của chúng (tức là giai đoạn ứng dụng thực tế) có thể được chuyển sang các mạng điện toán phi tập trung. Cách tiếp cận này rất hấp dẫn vì những lý do sau:

· Yêu cầu về nguồn lực cho suy luận thấp hơn nhiều so với đào tạo. Sau khi đào tạo xong, mô hình có thể được nén và tối ưu hóa thông qua các kỹ thuật như lượng tử hóa, cắt tỉa hoặc chưng cất. Các mô hình thậm chí có thể được phân chia bằng cách sử dụng Song song Tensor hoặc Song song đường ống để chạy trên các thiết bị tiêu dùng thông thường. Suy luận không yêu cầu sử dụng GPU cao cấp.

· Xu hướng này đã và đang hình thành. Ví dụ: Exo Labs đã tìm ra cách chạy mô hình Llama3 tham số 450 tỷ trên phần cứng tiêu dùng như MacBook và Mac Minis. Bằng cách phân phối các tác vụ suy luận trên nhiều thiết bị, ngay cả các nhu cầu điện toán quy mô lớn cũng có thể được hoàn thành một cách hiệu quả và tiết kiệm chi phí.

· Trải nghiệm người dùng tốt hơn: triển khai sức mạnh tính toán gần hơn với người dùng Vị trí có thể đáng kể giảm độ trễ, điều này rất quan trọng đối với các ứng dụng thời gian thực như chơi game, thực tế tăng cường (AR) hoặc ô tô tự lái - trong đó mỗi mili giây chậm trễ có thể tạo ra sự khác biệt trong trải nghiệm người dùng.

Chúng ta có thể so sánh lý luận phi tập trung với CDN (Mạng phân phối nội dung) cho AI. CDN truyền thống nhanh chóng chuyển nội dung trang web bằng cách kết nối với các máy chủ gần đó, trong khi suy luận phi tập trung sử dụng tài nguyên máy tính cục bộ để tạo ra phản hồi AI với tốc độ cực nhanh. Bằng cách này, các ứng dụng AI có thể trở nên hiệu quả hơn, phản hồi nhanh hơn và đáng tin cậy hơn.

Xu hướng này đã bắt đầu hình thành. Chip M4 Pro mới nhất của Apple có hiệu năng gần bằng RTX 3070 Ti của NVIDIA, GPU hiệu suất cao từng dành riêng cho những game thủ khó tính. Ngày nay, phần cứng chúng ta sử dụng hàng ngày ngày càng có khả năng xử lý khối lượng công việc AI phức tạp.

Việc trao quyền giá trị cho tiền điện tử

Để mạng lý luận phi tập trung thực sự thành công, nó là cần thiết để cung cấp các ưu đãi tài chính đủ hấp dẫn cho người tham gia. Các nút máy tính trong mạng cần nhận được mức bồi thường hợp lý cho sức mạnh tính toán mà chúng đóng góp và hệ thống cũng cần đảm bảo tính công bằng và hiệu quả trong việc phân phối phần thưởng. Ngoài ra, sự đa dạng về mặt địa lý cũng rất quan trọng. Nó không chỉ làm giảm độ trễ của các tác vụ suy luận mà còn cải thiện khả năng chịu lỗi của mạng, từ đó nâng cao tính ổn định tổng thể.

Vậy cách tốt nhất để xây dựng một mạng lưới phi tập trung là gì? Câu trả lời là tiền điện tử.

Token là một công cụ mạnh mẽ giúp điều chỉnh lợi ích của tất cả người tham gia và đảm bảo rằng mọi người đều hướng tới cùng một mục tiêu: phát triển mạng lưới và Tăng giá trị của Token.

Ngoài ra, Token cũng có thể thúc đẩy đáng kể sự phát triển của mạng. Chúng giúp giải quyết vấn đề nan giải "con gà và quả trứng" cổ điển mà nhiều mạng phải đối mặt trong giai đoạn phát triển ban đầu. Bằng cách khen thưởng những người chấp nhận sớm, Token có thể thu hút nhiều người hơn tham gia vào mạng ngay từ đầu.

Sự thành công của Bitcoin và Ethereum đã chứng minh tính hiệu quả của cơ chế này - chúng đã tích lũy được nguồn sức mạnh tính toán lớn nhất trên hành tinh.

Mạng lý luận phi tập trung sẽ là kẻ kế thừa tiếp theo. Thông qua sự đa dạng về địa lý, các mạng này có thể giảm độ trễ, cải thiện khả năng chịu lỗi và đưa dịch vụ AI đến gần hơn với người dùng. Và với sự trợ giúp của các cơ chế khuyến khích dựa trên tiền điện tử, tốc độ và hiệu quả mở rộng của các mạng phi tập trung sẽ vượt xa các mạng truyền thống.

Cống nạp

Teng Yan

Trong loạt bài viết tiếp theo, chúng ta sẽ đi sâu vào mạng dữ liệu và xem xét cách chúng có thể giúp vượt qua các tắc nghẽn dữ liệu mà AI đang gặp phải.

Tuyên bố từ chối trách nhiệm

Bài viết này chỉ nhằm mục đích giáo dục và không cấu thành bất kỳ lời khuyên tài chính nào. Đây không phải là sự chứng thực về việc mua hoặc bán tài sản hoặc các quyết định tài chính. Luôn tự nghiên cứu và thận trọng khi đưa ra lựa chọn đầu tư.

Liên kết gốc

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia