Đề mục gốc: Ai Ký Tên? Vấn đề Người Xây dựng và Lựa chọn 40 Nghìn Tỷ Đô la
Tác giả Gốc: Ashwin Gopinath
Biên dịch: Peggy, BlockBeats

Biên tập viên chú thích: Tương lai của đại lý AI sẽ không phân biệt dựa trên việc mô hình tiến bộ, mà dựa vào một biến số thiết kế cơ bản hơn – trách nhiệm đặt vào ai.

Tác giả cho rằng, việc được gọi là "Tăng cường Con Người" và "Thay Thế Con Người" không phải là hai lộ trình công nghệ khác nhau, mà là hai kết quả của cùng một hệ thống ở những lựa chọn thiết kế khác nhau – khi quyết định vẫn cần chữ ký của con người, có trách nhiệm rõ ràng đến cá nhân cụ thể, thì AI là trợ thủ; khi bước này bị loại bỏ (như tự động phê duyệt, bỏ qua quyền hạn), hệ thống sẽ tự nhiên dịch chuyển đến việc thay thế.

Bài viết tiếp tục chỉ ra rằng giá trị thực sự của đại lý AI không phải là "hoàn thành công việc", mà là việc nén thế giới phức tạp thành một "đơn vị quyết định có thể ký tên", cho phép con người đảm nhận hậu quả sau khi hiểu rõ. Tuy nhiên, trong thực tế, "mệt mỏi về quyền hạn" sẽ khiến người dùng dần dần từ bỏ việc kiểm tra, từ việc phê duyệt từng mục đến đồng ý mặc định, cuối cùng để hệ thống vượt qua con người, đó là một cơ chế nhận thức, không phải vấn đề cá nhân.

Do đó, bài viết đề xuất hai ràng buộc then chốt: mỗi quyết định quan trọng phải tương ứng với một cá nhân cụ thể có thể từ chối; người nào hưởng lợi từ tính tự chủ của Đại lý, người đó phải chịu trách nhiệm nếu có vấn đề xảy ra.

Một khi trách nhiệm trở lại người xây dựng, logic mặc định của hệ thống sẽ thay đổi. Trong khung cảnh này, câu chuyện thương mại của AI cũng sẽ được viết lại. Thay vì là một thị trường ít đầu cơ với nổi trội "thay thế một phần việc làm", nó là một thị trường công cụ phân phối "tăng cường năng suất con người", được giới hạn bởi tổng thu nhập lao động trí tuệ toàn cầu khoảng 40 nghìn tỷ đô la, chứ không phải là chi phí phần mềm doanh nghiệp.

Cuối cùng, bài viết đưa vấn đề về một lựa chọn đơn giản nhưng sâu sắc: AI cuối cùng là để phục vụ con người, hay để phục vụ chính nó – và câu trả lời này, đang dần được quyết định bí mật thông qua từng chi tiết thiết kế sản phẩm.

Dưới đây là đoạn trích gốc:

Tóm tắt nhanh

· "Tương lai Tăng cường" và "Tương lai Thay Thế" sử dụng cùng một mô hình, cùng một công cụ. Điều thực sự phân biệt hai phương pháp đó là lựa chọn thiết kế về "trách nhiệm cuối cùng đặt vào ai".

· Công việc thực sự của Đại lý, không phải là hoàn thành công việc cho con người, mà là làm cho thế giới phức tạp trở thành một "đơn vị quyết định nhỏ và trung thực nhất", để một người có thể đặt chữ ký trên đó. Chỉ cần việc nén này được thực hiện đúng, mọi thứ khác sẽ diễn ra suôn sẻ.

·Và người “đó” phải là một thực thể cụ thể có thể được xác định một cách rõ ràng. Trách nhiệm mơ hồ, phổ quát sẽ nhanh chóng tan rã dưới tải cao, vì vậy, mỗi hành động có hậu quả cụ thể phải được truy vết đến một người có quyền từ chối thực sự.

·"Mệt mỏi về quyền hạn" sẽ khiến hệ thống Đại lý tự tiến hóa của mình tự động trượt dần về "cái người thay thế". Do đó, “Tương lai Tăng cường” không phải là điều xảy ra mặc định, mà cần phải được thiết kế một cách có ý thức để chống lại xu hướng này.

·Nếu bạn xây dựng một Đại lý, và hưởng lợi từ tính tự chủ của nó, thì khi tính tự chủ đó gặp vấn đề, bạn cũng phải chịu trách nhiệm tương ứng. Khi chi phí thực sự ném về người xây dựng, hành vi mặc định của toàn bộ hệ thống sẽ thay đổi theo điều đó.

·Trong thị trường được hình thành dưới tiền đề “con người vẫn phải chịu trách nhiệm” như vậy, khả năng cỡ mạnh của nó có lẽ sẽ lớn hơn một cấp độ so với câu chuyện "một nửa số việc làm được thay thế bằng Đại lý dọc theo chiều dọc" đang được đầu tư mạnh mẽ hiện nay, bởi vì nó neo chân không phải là ngân sách phần mềm doanh nghiệp, mà là tổng lương của lao động có kỹ năng cao.

Claude Code cung cấp một tham số được gọi là --dangerously-skip-permissions. Tên của tham số này là trung thực; tác dụng của tham số này chính là như tên của nó. Một Đại lý chạy dưới tham số này không mạnh mẽ hơn so với khi tham số không được kích hoạt; điều thay đổi là một liên kết ban đầu cần được phê duyệt bởi con người bây giờ được bỏ qua.

Chính tham số này chính là một cách thực sự. Nó công nhận rằng, trong tình huống các khả năng cơ bản hoàn toàn giống nhau, cùng một hệ thống có thể chạy trong chế độ “Tăng cường con người” hoặc chế độ “Thay thế con người một cách im lặng”. Chế độ thay thế không cần phải có một mô hình khác; nó chỉ cần di chuyển bước “đồng ý” ra khỏi.

Đây chính là luận điểm đã được nén. Trong các hệ thống Đại lý mạnh mẽ nhất đang được triển khai ngày nay, sự khác biệt giữa “Tăng cường” và “Thay thế hiệu quả” phần lớn đến từ việc loại bỏ sự phê duyệt, chứ không phải từ việc phát minh một loại khả năng mới. Mười năm tiếp theo có vẻ giống như “thế giới được tăng cường của con người”, hay “thế giới mà Đại lý tự chủ đại diện cho chúng ta hành động”, thay vì phụ thuộc vào khả năng mô hình, thì phụ thuộc vào người xây dựng hệ thống này coi việc đưa “con người vào vòng lặp” là trung tâm của hệ thống, hay coi đó là một loại ma sát.

AI là để tăng cường con người, hay là để vượt qua con người?

Dưới mỗi vấn đề công nghệ, đều có một vấn đề không phải công nghệ, mà hiếm khi ai dám mở cửa: AI có để tăng cường con người, hay chính AI mới là mục tiêu?

Điều này hai câu trả lời đều đề cập đến hai tương lai thực sự khác biệt. Trạng thái “Tăng cường” cho rằng giá trị tồn tại trong bản thân con người, trong khi công việc của Agent là giúp con người này đi xa hơn, đưa ra quyết định tốt hơn. Trạng thái “AI như Mục tiêu” cho rằng trí tuệ trên thế giới chính là giá trị, với con người cuối cùng chỉ là một phương tiện truyền tải hiệu quả kém. Hầu hết các sản phẩm Agent đều mã hóa một trong hai trạng thái mà không cần phải nói ra, và ngạc nhiên rằng ít có người sáng lập được hỏi trực tiếp họ thuộc loại nào.

Thiết kế khả năng và thiết kế cơ chế đồng thuận vẫn đang phát triển. Bài viết này sẽ tập trung vào mặt “đồng thuận”, vì đây là biến số mà nhà xây dựng thực sự có thể kiểm soát vào ngày hôm nay, và vì sau khi sản xuất khả năng trở nên rẻ, những yếu tố vẫn giữ giá trị kinh tế là những thuộc tính không thể tách rời khỏi con người: sự phán đoán, gu thẩm mỹ, mối quan hệ, trách nhiệm, và ý thức gán tên cho một quyết định và chấp nhận hậu quả của nó. Trong đó, “trách nhiệm” (liability) là mục cụ thể nhất, cũng là yếu tố duy nhất đã có cơ sở hạ tầng thực thi hàng trăm năm.

Trách Nhiệm, Tăng Cường và Thay Thế

Biên giới cấu trúc giữa “Tương lai Tăng cường” và “Tương lai Thay thế” có thể được mô tả đại khái như sau: Bất kỳ hành vi nào thực hiện bởi Agent, có hậu quả thực tế, đều phải có khả năng được truy nguồn qua một liên kết đã được ghi lại, về một con người cụ thể – người đó đã nhìn thấy ngữ cảnh liên quan và thực sự có cơ hội để từ chối.

Trách nhiệm phổ quát sẽ nhanh chóng không thể qua được kiểm tra này. “Công ty chịu trách nhiệm” thực tế không liên quan đến bất kỳ nội dung cụ thể nào. “Người dùng đã click vào đồng ý” không đồng ý với bất kỳ vấn đề cụ thể nào. “Một con người đã duyệt quy trình” cho phép người này duyệt cái khác hoàn toàn so với nội dung được công bố cuối cùng. Điều cần thiết thực sự là một con người cụ thể, một người có tên, đã thấy quyết định này đặt trước mặt, có sự từ chối và đã chọn không từ chối.

Điều này nghe có vẻ như là chủ nghĩa quan liêu, cho tới khi bạn nhận ra rằng trách nhiệm tính chất duy nhất là yếu tố không có trong các giải pháp khác. Khả năng tăng cường không thể tối ưu hóa nó; một mô hình thông minh hơn sẽ không ảnh hưởng đến việc ai sẽ bị kiện tụng, bị phạt hoặc bị giam giữ. Nó buộc giao diện thiết kế phải tiết lộ một “điểm để từ chối”. Nó sẽ mở rộng tự nhiên theo rủi ro. Và nó là ràng buộc mạnh nhất ở cấp độ xuyên ngành và đã có cơ sở hạ tầng thực thi sẵn có: pháp luật, các cơ quan bảo hiểm, hội đồng chuyên môn, cơ quan quản lý. Hệ thống phê duyệt, trách nhiệm ủy thác và quản lý ngành cũng đúng là đã đang phát huy tác động, nhưng phạm vi ràng buộc của chúng hẹp hơn và mặc định rằng vấn đề “trách nhiệm thuộc về ai” đã được giải quyết.

Ngược lại, các giải pháp thay thế tại cấp độ AI không thể qua được kiểm tra tương tự. “Cải thiện” không thể thực hiện; chúng ta thậm chí không thể đưa ra đồng ý về ý nghĩa của nó. “Khả năng giải thích” có thể đáp ứng hình thức, nhưng không được đáp ứng về bản chất. “Con người trong vòng lặp” đã bị lược bỏ để trở thành “một người nào đó ở đâu”. Lý do tại sao “trách nhiệm” có sức mạnh là vì cơ sở hạ tầng thực thi hỗ trợ nó đã được xây dựng từ hàng trăm năm trước khi công nghệ xuất hiện.

Đất đai quá tải, đẩy hệ thống vào trạng thái "thay thế"

Dòng biên độ này sẽ đẩy hệ thống vào trạng thái "thay thế", và cơ chế đẩy mạnh mẽ. Mỗi lần xác nhận quyền hạn đều tiêu tốn sự chú ý. Người thực hiện thông thường là đúng. Từ quyết định cá nhân, lợi ích kỳ vọng từ việc "đồng ý mà không đọc" thường là dương. Vì vậy, một người dùng hợp lý sẽ học cách nhấp chuột đồng ý nhanh hơn, sau đó đồng ý theo lô, sau đó mở chế độ đồng ý tự động cho một loại hoạt động, tiếp đó mở rộng cho nhiều loại hoạt động hơn, sau đó trong một phiên làm việc mở công tắc nguy hiểm đó, cuối cùng thậm chí quên sự tồn tại của công tắc này.

Tôi đã mở công tắc này vào tuần thứ hai sử dụng Claude Code, đến tuần thứ ba tôi đã không còn nhận thức. Tất cả các nhà phát triển tôi biết, sử dụng lâu dài Cursor hoặc Devin, đều có trải nghiệm tương tự. Mẫu hành này cũng xuất hiện trong cửa sổ thông báo cookie, hợp đồng EULA, cảnh báo TLS, yêu cầu quyền truy cập điện thoại. Quyết định đồng ý lặp lại với mức độ rủi ro thấp, cuối cùng sẽ hội tụ thành "đồng ý vô điều kiện". Đây là một đặc điểm nhận thức, không phải là vấn đề đạo đức.

"Tương lai tăng cường" không xảy ra tự động. Một hệ thống Agent không được thiết kế cẩn thận, đường đi mặc định của nó sẽ đi theo con đường thay thế, vì người dùng sẽ chủ động chọn con đường thay thế trong mỗi nỗ lực tìm kiếm sự thuận lợi. Một tương lai khác, phải được thiết kế áp đảo dòng biên độ này.

Giá trị của Agent, không phải là thực hiện, mà là để con người "ký tên"

Điều thực sự có giá trị của Agent, không phải là hoàn thành công việc chính mà là nén công việc đó thành một hình thức có thể được ký tên.

Một mô hình tiên tiến có thể dễ dàng tạo ra một lần nộp 4000 dòng mã, soạn thảo một hợp đồng 30 trang, tạo ra một bản ghi lâm sàng, hoặc thực hiện một giao dịch. Nhưng điểm nghẽn thực sự của những sản phẩm này không phải ở việc "tạo ra chúng", mà ở việc liệu con người có khả năng chịu trách nhiệm về hậu quả của chúng sau khi chúng được triển khai. Một lần nộp mã không có ai thực sự hiểu, một khi được kết hợp sẽ trở thành vấn đề; một hợp đồng không ai đọc qua, một khi được ký kết sẽ trở thành một quả bom đóng; một bản ghi lâm sàng không được bác sĩ thực sự hậu thuẫn, trong hầu hết các hệ thống y tế tuân thủ quy định, thậm chí không được coi là một bản ghi có hiệu lực.

Trong khung "tăng cường", Agent hoàn thành mọi công việc ngoại trừ "ký tên": đọc hàng ngàn trang văn bản, viết ra bốn nghìn dòng mã, tính toán ba mươi giải pháp hợp lý, sau đó nén nội dung này thành một biểu thức nhỏ nhất và chính xác nhất, để một người có thể đưa ra quyết định "có" hoặc "không" dựa vào đó và đặt tên mình ở cuối tài liệu.

Agent có thể được hiểu như một người phát ngôn. Tổng thống chịu trách nhiệm ký tên, trong khi công việc của phát ngôn viên là hoàn thành tất cả các chuẩn bị trước khi ký tên.

Điều này thực sự là một vấn đề kỹ thuật khó hơn nhiều so với việc "để hệ thống tự mình hoàn thành công việc". Khả năng tạo nội dung đang phát triển nhanh chóng, nhưng khả năng "nén quyết định một cách trung thành" vẫn đang rất kém. Trong tương lai, những người chiến thắng trong "thị trường tăng cường" sẽ là những nhóm có khả năng cung cấp tóm tắt quyết định ngắn nhất và trung thành nhất đối với các tình huống rủi ro cao.

Vấn đề thực sự chưa được giải quyết trong câu này là "trung thành". Một tóm tắt mà con người có thể hiểu được chỉ có giá trị khi quá trình nén không bóp méo thông tin. Việc có thể xác minh điều này theo cách tự động mới là vấn đề công nghệ thực sự khó khăn trong "tương lai tăng cường", nhưng hiện tại hầu hết mọi người thậm chí còn chưa thực sự bắt đầu đối mặt với nó.

Một số phương pháp cơ bản đang xuất hiện:

Xác nhận sự hiểu biết của con người thông qua kiểm tra làm lại

Bắt buộc hiển thị ý kiến thiểu số hoặc ý kiến phản đối trong tóm tắt

Thực hiện kiểm tra ngược lại ("Nếu bạn từ chối, Agent sẽ làm gì?")

Kiểm tra có thể tái tạo (một Agent khác có thể tạo ra cùng một tóm tắt dựa trên ngữ cảnh tương tự)

Những điều này vẫn chưa được giải quyết. Và nhóm đầu tiên giải quyết những vấn đề này sẽ xây dựng một bức tường phòng thủ mà khả năng mô hình hóa không thể dễ dàng xâm nhập.

Xây dựng Hạng mục Trách nhiệm cho Hành vi AI

Nếu "trách nhiệm" đang đóng một vai trò cấu trúc, thì mỗi hành vi của Agent nên đi kèm với một "Hạng mục Trách nhiệm" và hạng mục này sẽ xác định cơ chế ký tối thiểu cần thiết cho hành vi đó.

Hiện tại, hệ thống tiêu chuẩn như vậy vẫn chưa được thiết lập rộng rãi – nhưng rất có thể nó sẽ được xây dựng.

Trên biểu đồ từ trên xuống dưới, thực tế là có 7 hạng mục rủi ro từ thấp đến cao: 1, Thông tin (Informational); ví dụ, đọc, tóm tắt, tìm kiếm; hoàn toàn tự động. 2, Đảo chiều - riêng tư (Reversible-private); ví dụ, chỉnh sửa nháp, chỉnh sửa tệp cục bộ; tự động + ghi nhật ký. 3, Đảo chiều - chia sẻ (Reversible-shared); ví dụ, nhận xét trên PR, gửi lời mời cuộc họp, viết email; tự động + ghi rõ người gửi. 4, Giới hạn tài chính (Financial-bounded); ví dụ, thanh toán nhỏ (có giới hạn số tiền); tự động trong giới hạn, vượt quá yêu cầu chữ ký của con người. 5, Liên quan đến danh tiếng (Reputational); ví dụ, sử dụng tên bạn để đăng nội dung, công khai đăng bài; phải được xác nhận và hiểu rõ bởi chính bạn (kiểm tra làm lại). 6, Không thể đảo chiều - riêng tư (Irreversible-private); ví dụ, xóa dữ liệu, đẩy nhánh chính, thu hồi quyền hạn; yêu cầu chữ ký của con người + thời gian chờ (cooldown). 7, Không thể đảo chiều - chia sẻ (Irreversible-shared); ví dụ, chuyển tiền, triển khai sản xuất, quyết định y tế, báo cáo kiểm soát; chữ ký của bản thân + thời gian chờ + người kiểm duyệt lần thứ hai.

"Tư duy phê duyệt" phù hợp với hậu quả là con đường thực tế duy nhất để quản lý sự mệt mỏi với quyền hạn. Trong các cấp độ rủi ro cao, cần phải thêm các cơ chế tham gia tích cực hơn (ví dụ: kiểm tra làm lại, thời gian chờ, người kiểm duyệt lần thứ hai), vì trong các tình huống này, mô hình thất bại thực sự không phải là do Agent đề xuất sai, mà là do con người phê duyệt mà không suy nghĩ.

Bạn Có Quan Tâm Không?

Tất cả các câu hỏi trên cuối cùng đều dẫn đến một câu hỏi cốt lõi ở mức độ người sáng lập: Bạn có quan tâm liệu con người có vẫn còn là một phần của tương lai không? Nhiều quyết định thiết kế về Agent hiện nay về cơ bản đều là một loại "bỏ phiếu im lặng" cho câu hỏi này, chỉ là những người bỏ phiếu thường không muốn thừa nhận họ đang lựa chọn.

Nếu bạn quan tâm, thì ràng buộc thiết kế thực ra không mơ hồ: bạn cần xây dựng một hệ thống phân tầng trách nhiệm; đặt "Từ chối" là một tính năng hàng đầu; tiêu chí đánh giá nên là chất lượng tóm tắt mà Agent giao cho con người, chứ không phải mức độ tự chủ của nó trong việc hoàn thành nhiệm vụ mà không can thiệp của con người; bạn cần liên kết mỗi hành vi có hậu quả với một cá nhân cụ thể trong một nhật ký không thể thay đổi được.

Công việc công nghệ này đã trở thành hiện thực và khả thi. Khó khăn thực sự nằm ở việc có muốn làm như vậy không — vì con đường xây dựng "tăng cường" không ấn tượng từ góc nhìn trình diễn, và cũng không mạnh mẽ hơn một con đường khác về mô hình kinh tế dựa trên việc tính theo chỗ ngồi.

Thách Thức Anthropical: Tập Trung vào An Ninh Nhưng Dễ Bị Lảo Ngược

Anthropic là một tình huống rất điển hình, cho thấy lĩnh vực này làm thế nào bị "thiên hướng nội sinh". Điều này không phải vì nó đặc biệt cẩu thả, tương phản lại, mà do cách mà nó bày tỏ vấn đề an ninh một cách rõ ràng nhất, vì vậy khoảng cách giữa "khung" và "lớp sản phẩm" ở nơi đây là dễ nhìn thấy nhất. Chính sách "Responsible Scaling Policy" và công việc "Constitutional AI" của họ chủ yếu ràng buộc hành vi mô hình ở giai đoạn huấn luyện; nhưng Agent được xây dựng trên những mô hình đó, việc thiết lập mặc định tự chủ, thuộc về hệ thống chiến lược khác, và cái "nút nguy hiểm" tiện lợi ấy, chỉ cần một lần nhấn để kích hoạt từ trạng thái mặc định.

Mô hình này tồn tại trong hầu hết các Agent lập trình điển hình, chỉ là tình huống của Anthropic dễ nhìn rõ nhất. Đó chính là "Thách thức Anthropical": phòng thí nghiệm viết rõ nhất về khung an ninh trong ngành này, đồng thời cung cấp con đường ngắn nhất từ "tăng cường" sang "thay thế", và chúng ta có thể nhìn thấy cái sau đó là vì cái trước đủ rõ ràng.

Để trung thực, họ đã giới thiệu "chế độ tự động" vào tháng ba năm nay, như một con đường trung gian giữa phê duyệt thủ công và nút nguy hiểm. Trong chế độ này, mỗi hành động sẽ được kiểm duyệt bởi một bộ phân loại Sonnet 4.6 trước khi thực hiện. Họ trực tiếp chỉ ra vấn đề trong thông báo chính thức — gọi là "mệt mỏi phê duyệt", và cung cấp một con số: người dùng trong chế độ thủ công sẽ chọn chấp nhận 93% lời khuyên. Điều này thực sự là biểu hiện cụ thể của "mệt mỏi quyền hạn". Tuyên bố này phù hợp với phân tích trong bài viết này.

Tuy nhiên, trên con đường giải quyết vấn đề này, tôi sẽ đưa ra một quan điểm khác. "Chế độ Tự động" đã thay thế việc phê duyệt của con người bằng việc phê duyệt mô hình, điều này có nghĩa là đường dốc "Chuyển nhượng" đó không bị chấm dứt, mà chỉ được dời lên một tầng. Bộ phân loại thực sự có thể ngăn chặn hành vi nguy hiểm, nhưng đối với những hành vi được phép, không có một người cụ thể nào chịu trách nhiệm. Chính Anthropic cũng công nhận rằng "Chế độ Tự động" không thể loại bỏ rủi ro và khuyến khích người dùng chạy trong môi trường cách ly—nói cách khác, vấn đề "Chịu trách nhiệm" vẫn còn đang chờ giải quyết.

Một ý kiến phản đối rõ ràng là: Nếu trách nhiệm cuối cùng phải ném cho cá nhân, đó không phải là chế độ Thủ công sao? Nhưng chế độ Thủ công chính là điều bị mệt mỏi và kiệt sức. Lý do mà "Người chịu trách nhiệm Xây dựng" có thể thoát ra khỏi đường dốc này là vì nó thay đổi người trả chi phí của "Phê duyệt quá mức". Trong cấu trúc hiện tại, người dùng phải trả giá cho việc đọc kỹ mỗi lần, trong khi người xây dựng không cần phải chịu trách nhiệm, do đó, thiết lập mặc định sẽ có xu hướng giảm ma sát của người dùng, chuyển rủi ro ra bên ngoài. Khi chuyển "Chi phí của hành vi chưa được xem xét" sang người xây dựng, cách tính được đảo ngược hoàn toàn: người xây dựng sẽ có động cơ kinh tế trực tiếp để thiết kế lớp trách nhiệm, tái phát cuộc kiểm tra và cơ chế phê duyệt, làm giảm chi phí ký kết của quyết định ít rủi ro hơn, tăng chi phí ký kết của quyết định cao rủi ro hơn. Đường dốc sẽ không biến mất, nhưng hướng sẽ thay đổi. Điều này, đến nay, vẫn chưa có một phòng thí nghiệm chính thống nào thực sự thực hành, kể cả hiện tại gần nhất đã nhận ra vấn đề đó.

Nếu bạn xây dựng một Đại lý, bạn phải chịu trách nhiệm

Nếu một Đại lý với mục tiêu rõ ràng là thay thế hành động mà con người thực hiện ban đầu, thì công ty xây dựng và vận hành Đại lý đó sẽ phải chịu trách nhiệm tương tự như con người. Nguyên tắc này không phải là một điều gì tiến xa, nó đã áp dụng từ lâu trong tất cả các ngành "Tạo ra hành vi trong thế giới thực": Toyota chịu trách nhiệm với hệ thống phanh, Boeing chịu trách nhiệm với hệ thống điều khiển bay, Pfizer chịu trách nhiệm với thuốc, kỹ sư cầu chịu trách nhiệm với cây cầu, bác sĩ chịu trách nhiệm với toa thuốc. Mô hình trách nhiệm này gần như có mặt trong mọi hệ thống pháp luật.

Tuy nhiên, trí tuệ nhân tạo hiện tại một phần nào đó được miễn trừ trách nhiệm. Nhà cung cấp mô hình tuyên bố họ chỉ là nhà cung cấp công cụ; công ty ứng dụng tầng cao chỉ tuyên bố họ chỉ là lớp bọc mỏng của mô hình; người dùng từ đầu đã từ bỏ mọi trách nhiệm qua các điều khoản trọng tài. Khi hệ thống Đại lý gặp sự cố chuỗi (ví dụ như vụ robot trò chuyện của Air Canada, vụ xóa cơ sở dữ liệu sản xuất của Replit, hoặc sự cố mất 4,4 tỷ USD trong 45 phút của Knight Capital năm 2012), người phải chịu tổn thất cuối cùng thường là bên ít có khả năng chịu đựng nhất—người dùng. Cách phân phối trách nhiệm như vậy sẽ không còn tồn tại trong vụ tai nạn lớn thực sự "có số tiền, có hồ sơ" lần đầu tiên.

Giải pháp về bản chất là rất đơn giản: Ai xây dựng Agent và hưởng lợi từ tính tự trị của nó, thì khi nó mất kiểm soát, họ phải chịu consequent. Một khi trách nhiệm thực sự đổ lên người xây dựng, cảnh báo cho phép không còn được coi là "ma sát" mà sẽ được xem xét như "bảo hiểm". Công tắc nguy hiểm sẽ được đổi tên lại và cài đặt mặc định cũng sẽ thay đổi theo.

Việc lòng tin để đảm bảo hệ thống của bản thân, là điểm phân biệt giữa một ngành công nghiệp thực sự và một ngành công nghiệp "đào hố".

Quản Lý Như "Cơ Chế Hướng Dẫn"

Thị trường không tự nhiên tiến tới "Tương lai Tăng cường". Điều thực sự đóng vai trò hướng dẫn thường là cơ quan quản lý cùng người bảo hiểm, và nhìn chung, điều này không nhất thiết phải là điều xấu.

Châu Âu có thể sẽ trở thành lối ra sớm nhất cho quản lý. Liên minh châu Âu đã có điều lệ rõ ràng về việc tạo ra tiền lệ (như GDPR, "Dự Luật AI", DMA), và các quy tắc của họ thường được toàn cầu chấp nhận mặc định, bởi vì việc duy trì một bộ sản phẩm riêng cho thị trường không thuộc Liên minh châu Âu thường mắc chi phí cao hơn việc tuân thủ tiêu chuẩn châu Âu trực tiếp. Một đường dẫn đến "mọi hành vi có hậu quả thực tế cuối cùng phải được xác nhận bởi con người được đặt tên và có quyền từ chối" nhiều gần giống với tiêu chuẩn kiểm tra va chạm xe hơi hơn là làm trở ngại cho tiến bộ công nghệ.

Động lực trực tiếp hơn đến từ ngành bảo hiểm. Người bảo hiểm sản phải chịu trách nhiệm cho bảo hiểm lỗi và thiếu sót (E&O), bảo hiểm trách nhiệm hội đồng quản trị (D&O) cùng cách định giá bảo hiểm mạng lưới, phải trả lời một câu hỏi: Khi Agent hành động dưới sự ủy quyền của người dùng và gây thiệt hại, trách nhiệm được xác định như thế nào? Con đường dễ nhất để hình thành một cấu trúc có thể bồi hoàn, là phải có một con người được đặt tên trong chuỗi. Do đó, các hệ thống không có cấu trúc như vậy sẽ phản ánh tự nhiên chi phí bảo hiểm cao hơn do rủi ro. Đối với những người muốn tự xác định quy tắc, chứ không phải nhờ vào quy định từ phía quản lý hoặc công ty bảo hiểm, cửa sổ thời gian thực sự không rộng.

Logic Thị Trường Bị Che Lấp bởi Câu Chuyện Chính Thống

Câu chuyện chính thống hiện tại cho rằng: Agent trong lĩnh vực dọc sẽ hấp thụ khoảng một nửa công việc trong ngành mà họ chạm tới, giá trị sẽ tập trung vào một số công ty Agent tích hợp dọc biểu - một "Anthropic" trong lĩnh vực luật, một "Anthropic" trong lĩnh vực y tế, một "Anthropic" trong lĩnh vực kế toán. Gần đây gần một năm và nửa, hầu hết mọi vốn hàng tỉ đô la cho AI đều xây dựng trên giả định này một cách nào đó. Sự giao thoa này là một phiên bản của "Logic Thay Thế" được mặc lên cái áo của doanh nghiệp, nhưng đánh giá về cấu trúc thị trường là sai lầm và sai lầm đó sẽ ảnh hưởng trực tiếp đến cách phân phối vốn.

Khung tăng cường ánh sáng đồng nghĩa với một dạng thị trường khác. Nếu mỗi hành vi có hậu quả thực tế cuối cùng phải dựa vào một con người có tên, thì đơn vị được bán không phải là "Agent tự do", mà là "Khả năng của con người được phóng to". Bác sĩ có thể xử lý ba lần ca bệnh và có độ chính xác cao hơn, mới là người mua hàng; tương tự, luật sư có thể xử lý mười lần luồng giao dịch, kỹ sư giao hàng với tốc độ gấp năm lần, cùng các công chức kế toán, các nhà bảo hiểm, nhà phân tích, kiến trúc sư, bác sĩ phẫu thuật, giáo viên, nhân viên tín dụng, nhà báo và dược sĩ đứng sau họ cũng là người mua.

Thị trường này lớn hơn vì nó không phụ thuộc vào sự tập trung mà phụ thuộc vào phân phối quy mô. Một định giá hợp lý không nên là dự toán phần mềm doanh nghiệp mà nên là tổng lương lao động đã được "mở rộng". Chi phí IT doanh nghiệp toàn cầu ước lượng khoảng 40 nghìn tỷ đô la mỹ mỗi năm (dữ liệu từ Gartner); trong khi tổng tổng lương cho lao động chuyên môn, có chứng chỉ và kiến thức trên toàn cầu, đạt khoảng 400 nghìn tỷ đô la mỹ (dựa trên dữ liệu từ Tổ chức Lao động Quốc tế và loại bỏ phần lương cho lao động kỹ năng thấp để ước lượng). Các công ty AI tất nhiên không thể chiếm toàn bộ hồ bơi tiền lương, nhưng họ có thể chiếm một phần lợi ích năng suất của đó. Ngay cả khi chỉ giữ một phần trăm số lượng cổ phần, đủ để hỗ trợ một thị trường cỡ bằng toàn bộ thị trường phần mềm doanh nghiệp ngày nay. Điều này chỉ là một ngưỡng dưới, không phải trên cùng. Kích thước cuối cùng của thị trường phụ thuộc vào một quyết định thiết kế quan trọng: trách nhiệm nằm ở đâu.

Người chiến thắng cuối cùng, giống như một công cụ hơn là một người thay thế, giá cả được xây dựng dựa trên "người được mở rộng", chứ không phải là "vị trí được thay thế"; họ được tích hợp vào luồng công việc chuyên nghiệp hiện có, chứ không phải thay thế; họ sẽ có hàng nghìn công ty, chứ không phải chỉ vài công ty. Hình dạng cuối cùng của thị trường này, gần hơn với SaaS hơn là cơ sở hạ tầng đám mây. Hiện tại, chúng ta vẫn đang ở giai đoạn rất sớm của đường cong triển khai, biểu đồ tỷ lệ thâm nhập thông thường, trên trục tọa độ kéo dài trong mười năm tới, chỉ là vài pixel bên trái nhất. Và hình dạng của những "pixel" này, đang được quyết định bởi sự lựa chọn thiết kế trong một số sản phẩm hiện tại.

Lựa chọn: Hãy để người đảm trách, hay để người biến mất?

Cho phép con người tiếp tục chịu trách nhiệm, sẽ buộc hệ thống kiến trúc xung quanh việc "tăng cường con người"; còn một khi loại bỏ con người khỏi chuỗi trách nhiệm, hệ thống sẽ tự động chuyển đến "thay thế", ngay cả khi mỗi người hiện diện, nếu được hỏi thẳng thắn, có lẽ sẽ không chọn kết quả đó.

Vấn đề thực sự, không phải là liệu một số hành vi nên được tự động hoàn toàn hay không—khung này đã chấp nhận điều này, ví dụ như nhận diện thông tin thuần túy có thể tự động hoá. Điều quan trọng là khi rủi ro tăng dần, đường ranh giới này di chuyển như thế nào, và ai quyết định nó. Trong các hệ thống Agent hiện đại nhất, con đường từ "tăng cường" đến "thay thế hiệu quả" rất ngắn, thường chỉ cần một công tắc thông số hoặc một cài đặt mặc định. Công việc thực sự quan trọng, là đảm bảo rằng công tắc này luôn được xem xét là một "lựa chọn nguy hiểm", không phải dần dần trở thành mặc định trong sự tiện lợi.

Nếu người xây dựng chủ động thực hiện công việc này, chúng ta sẽ đi vào một tương lai "tăng cường"; nếu họ không, các cơ quan quản lý và các công ty bảo hiểm sẽ hoàn thành nó thay họ, và kết quả vẫn sẽ hướng tới điều đó.

Điều quan trọng, đó là một lựa chọn thiết kế. Và lựa chọn này sẽ xác định cái bạn đang xây dựng. Hiện nay, mỗi người sáng lập sản phẩm Agent cần trả lời công khai một câu hỏi mà họ có vẻ không muốn đối mặt: bạn đang xây dựng, là tăng cường hay thay thế?

[Link bài gốc]

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia