TL;DR

·Nhu cầu lưu trữ của AI không chỉ dừng lại ở HBM. Quá trình huấn luyện gần như cần huy động toàn bộ hệ thống bộ nhớ từ HBM, DRAM hệ thống đến SSD và bộ nhớ dùng chung.

·Nút thắt thực sự của suy luận xuất hiện ở giai đoạn giải mã. KV Cache sẽ tăng trưởng cùng với độ dài ngữ cảnh và số lượng người dùng đồng thời, dung lượng bộ nhớ có thể hạn chế quy mô thương mại hóa sớm hơn trọng số mô hình.

·Agent càng làm gia tăng áp lực lưu trữ. Các lệnh gọi đa bước sẽ liên tục tạo ra ngữ cảnh, gọi công cụ bên ngoài, đồng thời tăng nhu cầu về CPU, DRAM và KV Cache.

·Giữa HBM và SSD truyền thống đang xuất hiện nhiều tầng mới, bao gồm CXL, "Storage Next" và CMX, với mục tiêu tiếp nhận dữ liệu suy luận ngày càng mở rộng với chi phí thấp hơn.

·Không phải mọi lộ trình công nghệ mới đều có thể triển khai. HBF, zHBM, NVHBM, ZAM và PIM mỗi loại đều đối mặt với các vấn đề về tản nhiệt, tỷ lệ đạt chuẩn, tương thích hệ sinh thái hoặc tái phân bổ lợi ích chuỗi cung ứng.

·Bernstein tiếp tục đánh giá tích cực đối với Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate và Western Digital, duy trì xếp hạng "kém hơn thị trường" đối với Kioxia.

Trong hai năm qua, câu chuyện thị trường về lưu trữ AI gần như xoay quanh HBM. Nhưng khi các mô hình lớn chuyển từ huấn luyện sang suy luận quy mô lớn, việc chỉ tăng thêm HBM không còn giải quyết được toàn bộ vấn đề.

Bernstein trong báo cáo lưu trữ toàn cầu mới nhất chỉ ra rằng, các khối lượng công việc AI khác nhau có yêu cầu bộ nhớ khác biệt rõ rệt: huấn luyện nhấn mạnh sức mạnh tính toán và băng thông, giai đoạn giải mã trong suy luận phụ thuộc nhiều hơn vào dung lượng, RAG cần cơ sở dữ liệu quy mô lớn, còn quy trình làm việc của Agent sẽ đồng thời gia tăng gánh nặng cho cả máy chủ truyền thống và máy chủ AI.

Điều này có nghĩa là, những thay đổi do AI mang lại đang lan truyền từ HBM xuống DRAM hệ thống, SSD, HDD, thậm chí cả lưu trữ băng từ. Xoay quanh "bức tường bộ nhớ", chuỗi ngành công nghiệp bắt đầu chèn thêm các sản phẩm mới giữa các tầng hiện có, hy vọng tìm được sự cân bằng mới giữa hiệu suất, dung lượng và chi phí.

Giới hạn quy mô suy luận có thể phụ thuộc vào KV Cache

Trong giai đoạn huấn luyện mô hình lớn, GPU và HBM vẫn giữ vị trí trung tâm.

Huấn luyện cần thường xuyên đọc các tham số mô hình và dữ liệu trung gian, yêu cầu cao về sức mạnh tính toán và băng thông bộ nhớ. Nhưng quá trình huấn luyện một mô hình lớn không chỉ phụ thuộc vào HBM: tập dữ liệu gốc cần được lưu trữ trên các phương tiện lưu trữ có chi phí thấp hơn; trước khi dữ liệu vào GPU, thường cần DRAM hệ thống và SSD cục bộ hoàn thành việc lưu trữ đệm và tiền xử lý; quá trình huấn luyện kéo dài nhiều tuần thậm chí nhiều tháng còn cần định kỳ lưu điểm kiểm tra để tránh sự cố phần cứng hoặc phần mềm khiến nhiệm vụ phải bắt đầu lại từ đầu.

Do đó, một lần huấn luyện quy mô lớn thực chất sẽ gọi đến toàn bộ hệ thống từ HBM, DRAM hệ thống đến SSD cục bộ và bộ lưu trữ mạng.

Bước vào giai đoạn suy luận, nhu cầu bộ nhớ tiếp tục phân hóa rõ rệt.

Suy luận thường có thể được chia thành hai giai đoạn: Prefill (điền trước) và Decode (giải mã). Prefill chịu trách nhiệm xử lý đầu vào của người dùng và tạo ra Token đầu tiên, chủ yếu thực hiện các phép toán ma trận quy mô lớn, thiên về "giới hạn tính toán". Trong giai đoạn này, mức sử dụng GPU và băng thông HBM quan trọng hơn, chỉ số thường dùng là độ trễ Token đầu tiên.

Giai đoạn Decode lại khác. Mô hình cần tạo ra từng Token một và gọi lại thông tin đã sinh ra trước đó khi tạo Token mới. Để tránh tính toán lặp lại, hệ thống thường lưu trữ dữ liệu này trong KV Cache.

KV Cache có hai đặc điểm quan trọng: dung lượng của nó tăng tuyến tính theo độ dài ngữ cảnh, và mỗi người dùng cần có bộ nhớ đệm độc lập. Do đó, khi ngữ cảnh dài hơn và số người dùng đồng thời tăng lên, hai yếu tố này sẽ cùng đẩy mức sử dụng bộ nhớ lên cao.

Bernstein cho rằng, trong các triển khai AI quy mô lớn, bộ nhớ mà KV Cache chiếm dụng có thể vượt qua trọng số mô hình, trở thành yếu tố chính giới hạn số người dùng đồng thời và cửa sổ ngữ cảnh. Mô hình có thể phục vụ bao nhiêu người dùng, duy trì ngữ cảnh dài bao nhiêu, cuối cùng sẽ ảnh hưởng trực tiếp đến quy mô doanh thu.

Từ đó có thể thấy, trọng tâm cạnh tranh trong kỷ nguyên suy luận không chỉ là chip có thể thực hiện bao nhiêu phép tính, mà còn là hệ thống có thể lưu trữ và đọc lại ngữ cảnh ngày càng mở rộng với chi phí thấp đến mức nào.

RAG và Agent, đẩy nhu cầu sang bộ nhớ truyền thống

Sự phổ biến của RAG và Agent khiến nhu cầu lưu trữ AI lan rộng hơn nữa ra ngoài HBM.

RAG chủ yếu bao gồm hai giai đoạn: xây dựng cơ sở dữ liệu và truy xuất cơ sở dữ liệu. Khi xây dựng cơ sở dữ liệu, hệ thống cần xử lý một lượng lớn dữ liệu phi cấu trúc như PDF, trang web, mã nguồn, sau đó chuyển đổi chúng thành vector và chỉ mục có thể tìm kiếm. Quá trình này phụ thuộc nhiều hơn vào SSD dung lượng lớn và DRAM hệ thống, vai trò của HBM tương đối hạn chế.

Sau khi cơ sở dữ liệu được thiết lập, truy vấn của người dùng trước tiên được chuyển đổi thành vector, sau đó khớp với nội dung trong cơ sở dữ liệu. Việc tạo vector có thể hoàn thành nhanh chóng trong GPU và HBM, nhưng quá trình tìm kiếm thực sự thường phụ thuộc nhiều hơn vào DRAM hệ thống. Kết quả truy xuất sau đó được kết hợp với câu hỏi của người dùng, đi vào quy trình Prefill và Decode thông thường.

Quy trình làm việc của Agent còn tạo ra gánh nặng lớn hơn.

Hội thoại truyền thống thường là lệnh gọi một lần theo mô hình "đầu vào — mô hình — đầu ra", còn Agent cần chia nhỏ mục tiêu thành nhiều bước, gọi các mô hình hoặc công cụ bên ngoài khác, lưu trữ kết quả trung gian, và lập kế hoạch lại dựa trên phản hồi. Kết quả của mỗi lần gọi lại có thể trở thành đầu vào cho lần gọi mô hình tiếp theo.

Điều này đồng thời làm tăng hai loại nhu cầu: một mặt, việc gọi công cụ và các tác vụ không phải AI cần nhiều CPU và bộ nhớ hệ thống hơn; mặt khác, việc liên tục truyền ngữ cảnh giữa nhiều mô hình sẽ nhanh chóng mở rộng gánh nặng cho quá trình prefill, giải mã và KV Cache.

Do đó, sự phát triển của ứng dụng Agent không chỉ có lợi cho GPU và HBM, mà còn có thể thúc đẩy nhu cầu về DRAM máy chủ, SSD cấp doanh nghiệp và các phương tiện lưu trữ chi phí thấp hơn.

Giữa HBM và SSD, một tầng bộ nhớ mới đang hình thành

Hệ thống bộ nhớ của máy chủ truyền thống có thể được chia thành bộ nhớ đệm trong bộ xử lý, DRAM hệ thống, SSD cục bộ và lưu trữ dùng chung. Máy chủ AI đã thêm HBM vào cấu trúc này, nhưng dung lượng HBM có hạn và chi phí cao, khó có thể đảm nhận toàn bộ dữ liệu.

Giải pháp hiện tại của chuỗi ngành là thêm các sản phẩm mới giữa các tầng khác nhau.

CXL cố gắng hợp nhất bộ nhớ phân tán vật lý thành một nhóm tài nguyên dùng chung, cho phép CPU, GPU và các thiết bị mở rộng gọi DRAM một cách linh hoạt hơn. Một số sản phẩm còn sử dụng DRAM hoặc SRAM làm bộ nhớ đệm, kết hợp với NAND, giảm chi phí đồng thời rút ngắn độ trễ truy cập.

"Storage Next" do NVIDIA thúc đẩy cố gắng chuyển một phần quản lý lưu trữ từ CPU sang GPU, đồng thời giúp NAND đạt được độ trễ, IOPS và mức độ chi tiết truy cập dữ liệu gần hơn với DRAM. Dòng SSD GP mà Kioxia ra mắt dựa trên XL-FLASH chính là đại diện cho hướng đi này.

CMX chủ yếu hướng đến KV Cache. Nó triển khai SSD trong các nút dữ liệu độc lập, kết nối với nút tính toán thông qua DPU, Ethernet và chip chuyển mạch. Mục tiêu của nó là chia sẻ ngữ cảnh suy luận giữa các GPU khác nhau, giảm lưu trữ trùng lặp, đồng thời vượt qua giới hạn dung lượng bộ nhớ của một máy chủ đơn lẻ.

Các giải pháp này cùng chỉ ra một xu hướng chung: hệ thống AI không thể giữ toàn bộ dữ liệu hoạt động trong HBM trong thời gian dài, mà cần phân tán dữ liệu vào các tầng khác nhau dựa trên tần suất truy cập và yêu cầu độ trễ.

Dữ liệu nóng ở lại trong HBM, một phần ngữ cảnh được chuyển sang DRAM hệ thống hoặc SSD hiệu suất cao, dữ liệu lạnh hơn tiếp tục chìm xuống SSD thông thường, HDD hoặc thậm chí băng từ. Tầng bộ nhớ càng chi tiết, hệ thống càng có khả năng đạt được sự cân bằng giữa hiệu suất và chi phí.

Công nghệ mới xuất hiện dày đặc, nhưng thương mại hóa vẫn còn nhiều bất định

Xoay quanh "bức tường bộ nhớ", chuỗi ngành công nghiệp đã đề xuất nhiều hướng đi mới.

Kế hoạch zHBM của Samsung dự định xếp chồng HBM lên trên bộ xử lý, giúp rút ngắn khoảng cách truyền dữ liệu. Tuy nhiên, thiết kế này cần xử lý nhiệt lượng do GPU sinh ra, đồng thời đặt ra yêu cầu cao hơn về tỷ lệ đạt chuẩn và chi phí của kỹ thuật lai ghép ở cấp độ tấm wafer.

NVHBM do NVIDIA thúc đẩy sẽ giao việc thiết kế đế thô (base die) cho NVIDIA, và có thể do TSMC sản xuất. Giải pháp này hứa hẹn giảm điện năng tiêu thụ, tăng băng thông, nhưng cũng có thể làm suy yếu giá trị thiết kế và sản xuất của các nhà sản xuất bộ nhớ trong đế thô HBM. Khi sản phẩm được tiêu chuẩn hóa, một phần giá trị gia tăng có thể chuyển từ nhà sản xuất bộ nhớ sang NVIDIA và các nhà xưởng bán dẫn.

HBF do SanDisk và SK Hynix thúc đẩy, hy vọng tận dụng NAND để cung cấp băng thông gần tương đương HBM, đồng thời đạt được dung lượng lớn hơn và chi phí đơn vị thấp hơn. Tuy nhiên, NAND và DRAM vẫn có khoảng cách đáng kể về độ trễ và hiệu suất, HBF cần vượt qua nhiều tầng công nghệ, mức độ triển khai không hề thấp.

ZAM của Intel thử nghiệm xoay đế DRAM 90 độ để cải thiện khả năng tản nhiệt, mục tiêu đưa vào ứng dụng thực tế trong năm tài chính 2029; HBC của Qualcomm sử dụng LPDDR và đóng gói truyền thống, hy sinh một phần hiệu suất để né tránh chi phí CoWoS.

Ngoài ra, PIM cố gắng tích hợp trực tiếp khả năng tính toán vào chip nhớ, nhằm giảm việc vận chuyển dữ liệu giữa bộ xử lý và bộ nhớ. Nhưng điều này sẽ thay đổi kiến trúc tính toán hiện tại, đòi hỏi bộ xử lý, phần mềm và mạng lưới phải cùng thích ứng, đồng thời cũng sẽ tác động đến hệ thống phân công lao động giữa chip logic và chip nhớ vốn đã rất trưởng thành. Bernstein cho rằng, mức độ áp dụng trong ngành vẫn còn hạn chế.

Từ đó có thể thấy, số lượng giải pháp mới tăng nhanh không đồng nghĩa với việc mọi hướng đi đều có thể hình thành thị trường quy mô lớn. Khả năng tương thích với hệ sinh thái phần mềm và phần cứng hiện có, liệu có lợi thế về chi phí hay không, và các bên trong chuỗi cung ứng có thể đạt được sự cân bằng lợi ích hay không, sẽ quyết định kết quả thương mại hóa cuối cùng.

Người hưởng lợi từ AI trong lĩnh vực lưu trữ, không chỉ có các nhà sản xuất HBM

Từ góc độ đầu tư, nhận định của Bernstein khá rõ ràng: tác động của AI đối với ngành lưu trữ đang lan tỏa từ một số ít sản phẩm cao cấp sang nhiều phân khúc hơn.

HBM vẫn là cốt lõi cho huấn luyện và suy luận hiệu năng cao, Samsung Electronics, SK Hynix và Micron sẽ tiếp tục hưởng lợi từ nhu cầu bộ nhớ băng thông cao. Nhưng khi quy mô suy luận mở rộng, tầm quan trọng của DRAM hệ thống và NAND sẽ tăng lên. Tràn bộ đệm KV Cache, cơ sở dữ liệu RAG và lượng lớn dữ liệu trung gian do Agent tạo ra cũng sẽ làm tăng nhu cầu về SSD và bộ nhớ dùng chung.

Dữ liệu lạnh hơn sẽ tiếp tục giảm sâu. Bernstein cho biết, sự tăng trưởng dữ liệu do AI mang lại đã bắt đầu mang lại lợi ích cho HDD; trong một số tình huống, do dung lượng NAND và HDD không đủ, nhu cầu về băng từ vốn chủ yếu dùng để lưu trữ lưu trữ cũng đang tăng lên.

Báo cáo tiếp tục đánh giá Samsung Electronics, SK Hynix, Micron, SanDisk, Seagate và Western Digital với mức "Vượt trội so với thị trường". Trong đó, Samsung Electronics, SK Hynix và Micron tương ứng với DRAM và HBM, SanDisk hưởng lợi từ NAND và HBF, còn Seagate và Western Digital tương ứng với lưu trữ dung lượng lớn chi phí thấp hơn. Kioxia được đánh giá là "Kém hơn so với thị trường".

Tuy nhiên, giá trị cốt lõi của báo cáo này không nằm ở việc liệt kê một loạt các từ viết tắt công nghệ mới, mà là xác định lại ranh giới của thị trường lưu trữ AI.

Nút thắt trong kỷ nguyên huấn luyện chủ yếu tập trung ở GPU và HBM; trong kỷ nguyên suy luận và Agent, nút thắt bắt đầu lan rộng ra toàn bộ hệ thống bộ nhớ. Cuộc cạnh tranh hạ tầng AI trong tương lai không chỉ phụ thuộc vào tốc độ tính toán của chip, mà còn phụ thuộc vào việc dữ liệu có thể lưu chuyển hiệu quả giữa HBM, DRAM, NAND và lưu trữ chia sẻ với chi phí đủ thấp hay không.

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia