原文标题：Kết Luận "Rational"
原文作者：ALEXANDER CAMPBELL
Biên Dịch: Peggy, BlockBeats

Biên Tập Viên Chú Ý: Vào lúc 3 giờ 45 phút sáng ngày 10 tháng 4, một thanh niên 20 tuổi đã ném một chai xăng vào nhà của Sam Altman, sau đó đi bộ đến trụ sở của OpenAI và đe dọa phóng hỏa.

Vụ tấn công này nhanh chóng gây chấn động trong cộng đồng công nghệ và đầu tư. Điều này không chỉ liên quan đến an ninh cá nhân mà còn đẩy mạnh một câu chuyện cực đoan đã lâu ở trong văn bản và cộng đồng vào thực tế.

Xuất phát từ sự kết luận quyết định "Trí Tuệ Nhân Tạo sẽ dẫn đến diệt vong của loài người", thông qua lý do "phải giảm thiểu rủi ro bằng mọi giá," logic này dần dần trượt dốc đến việc hợp lý hóa hành động thực tế. Khi một quan điểm ngày càng củng cố câu chuyện về "mối đe dọa sinh tồn" và từ đó xây dựng lại ưu tiên đạo đức, biên giới của hành động cũng được tái định nghĩa - những lời nói ban đầu rẻ tiền bây giờ bắt đầu trở nên có thể thi hành.

Bài viết này đánh giá lại hành trình phát triển bên trong cộng đồng những người tin vào "ngày tận thế của Trí Tuệ Nhân Tạo": từ "vòng xoáy làm sạch" thúc đẩy việc đánh giá rủi ro ngày càng leo thang, đến xét xử đạo đức của những người xây dựng công nghệ, rồi đến việc đơn giản hóa thực tế phức tạp thành "vấn đề xe điện". Những phân tích dường như lý trí này cuối cùng hội tụ thành một cấu trúc tư duy mạch lạc nhưng nguy hiểm: miễn là kết quả được xác định là "cứu rỗi nhân loại," phương tiện có thể tiếp tục mở rộng.

Trong bối cảnh này, vụ việc không phải là một sự cô lập. Nó giống như một bài kiểm tra áp lực đến trước - bài kiểm tra không phải là về công nghệ chính mà là về những câu chuyện, niềm tin và hành động xung quanh công nghệ, khi nào bắt đầu mất kiển trì.

Dưới đây là nội dung gốc:

Kẻ Phóng Hỏa Là Ai?

Vào lúc 3 giờ 45 phút sáng thứ Sáu, một người đàn ông 20 tuổi đã ném một chai xăng vào nhà của Sam Altman. Sau đó, anh ta đi bộ khoảng ba dặm tới trụ sở của OpenAI, đe dọa sẽ đốt cháy nơi đó. Hiện tại, anh ta đã bị bắt giữ vì nghi ngờ cố ý giết người.

Người đăng bài viết cho biết: Một người tên Daniel Moreno-Gama (biệt danh dmgama / "Butlerian Jihadist") đã bị bắt giữ vì "nghi ngờ cố ý giết người" (booked) và cho biết anh ta là thành viên tích cực của PauseAI. Bức tranh còn trích dẫn quan điểm cấp thiết anh ta đã thể hiện nhiều lần: "Chúng ta đang gần bước nửa đêm, là lúc thực sự hành động."

Anh ta không phải là "sói đơn độc". Anh ta là thành viên tích cực của PauseAI, sở hữu sáu vai trò trong cộng đồng. Tên người dùng của anh ta trên Discord là "Butlerian Jihadist".

Anh ấy gần như đã chiếm đến Instagram bằng nội dung tinh thần tận thế: post kèm với đồ thị sức mạnh "Nếu chúng ta không hành động nhanh, chúng ta sẽ chết," cũng như đặt thực tế vào sự giao thoa giữa "The Matrix," "Terminator," và "Idiocracy" của Idiocracy.

Trong bốn tháng trước khi vụ tấn công xảy ra, anh ấy còn đã giới thiệu bài viết "Nếu có ai đó xây nó ra, tất cả chúng ta sẽ chết" của Yudkowsky và Soares cho người theo dõi của mình.

Tài khoản Instagram của người theo Chủ nghĩa Chiến binh Butlerian

"Nếu có ai đó xây nó ra, tất cả chúng ta sẽ chết" là một tác phẩm đại diện cho quan điểm bi quan mạnh mẽ trong phe "Rủi ro AI/An ninh AI," với điểm chính có thể tóm tắt là một khi con người tạo ra "trí tuệ siêu nhân" (AI vượt trội hơn con người), nếu không được hoàn toàn canh tranh, thì rất có khả năng nó sẽ trở nên không kiểm soát và đe dọa tồn vong con người. Quan điểm của tác giả rất cực đoan, thậm chí có thể nói là "loại bi quan nhất," cho rằng AI không chỉ "có nguy cơ" mà gần như chắc chắn dẫn đến thảm họa. Tác giả ủng hộ một cách cẩn thận cực độ và thậm chí đề xuất tạm ngừng phát triển cho đến khi canh tranh được giải quyết.

Anh ta tên là Daniel Moreno-Gama.

Anh ấy cũng có một Substack riêng. Đầu năm nay, anh ấy đã viết một bài báo có tựa đề "Rủi ro Tồn tại AI," trong đó ước lượng xác suất "được dẫn đến tuyệt chủng của loài người bởi AI" là "gần như chắc chắn." Anh ấy gọi công nghệ này là "mối đe dọa tích cực đối với bất kỳ ai sử dụng nó, đặc biệt là đối với những người đang xây dựng nó." Kết luận của anh ấy là: "Chúng ta phải xử lý mối đe dọa này trước khi đi đặt câu hỏi khác."

Anh ấy cũng đã viết một bài thơ, tưởng tượng về việc con cái của các nhà phát triển AI qua đời và đề nghị rằng cha mẹ đã không làm gì cả. Anh ấy thậm chí đã mô tả những người xây dựng công nghệ này như sau: "Nguyện xin địa ngục đối với những sinh vật tầm thường như vậy."

PauseAI đã xóa các bình luận liên quan của anh ấy khỏi Discord của họ.

Tôi biết, đối với một bản tin đầu tư, điều này không phải là nội dung mà phần lớn độc giả mong đợi thấy. Tôi viết những điều này để giải thích nguồn gốc của quan điểm thế giới của tôi, để những quyết định dài hạn sau này dễ hiểu hơn. Còn về "Giao kèo Mới Mới" (New New Deal) mà tôi đề xuất, đó là một phản ứng trực tiếp với xu hướng phát triển này.

Tôi chỉ đơn giản là đẩy mạnh mô hình của họ thêm một bước và kết nối những dấu vết này lại với nhau.

Câu Chuyện Về Ngày Tận Thế của AI

Bắt đầu từ "Xác định". Quan điểm của Yudkowsky (được đề cập trước đó trong cuốn sách) là: Một khi có một Trí tuệ Nhân tạo đủ mạnh, mỗi người trên Trái Đất sẽ chết. Không phải "có thể", không phải "có lẽ", mà là tất cả mọi người — bao gồm cả con của bạn, cũng như con gái Nina mà anh ta đã nhắc đến nhiều lần.

Anh đã đưa quan điểm này lên tạp chí Time và viết vào cuốn sách có tên "Nếu ai đó tạo ra nó, chúng ta tất cả sẽ chết." Anh ta thậm chí khẳng định rằng nên tiến hành không kích vào trung tâm dữ liệu và tin rằng, so với đó, rủi ro xung đột hạt nhân còn dễ chấp nhận hơn một lần chạy huấn luyện hoàn toàn.

"Vòng xoắn làm sạch", đó là hành vi kích động không ngừng. Trong cộng đồng này, các thành viên chứng minh "kiên định" của bản thân bằng cách liên tục tăng cường độ mạnh của lập trường của họ: ước lượng về "Xác suất tuyệt diệt của nhân loại (P(doom))" từ 50% đã tăng lên 90%, rồi 99.99999%.

Một người phát ngôn toàn quốc từ Trung tâm An toàn AI đã từng nói trước ống kính rằng phản ứng đúng đắn sẽ là "đi đến các phòng thí nghiệm trên khắp đất nước và đốt chúng". PauseAI đã mở một "Hiệp định Bắn Cảnh Báo" (Warning Shot Protocol) gọi một mô hình AI nào đó là "vũ khí tuyệt chủng". Một nhà lãnh đạo của PauseAI thậm chí nói rằng một nghiên cứu viên của Anthropic "đáng đếch thương và cái mà cô phải chịu đựng sắp xảy ra với chính mình".

Khi một người đã đặt câu hỏi về các phát ngôn như vậy trên Discord của PauseAI, người quản trị đã xóa ngay bình luận đó.

Vào ngày trước vụ tấn công xảy ra, cộng tác giả của quyển sách đó của Yudkowsky, Nathan Soares, đã đăng tweet nói rằng, Altman "đang làm một số điều rất tồi tệ".

Sau đó, "Tiểu Thuyết Thanh lọc" bắt đầu được kiểm chứng thực tế.

Trong Lý thuyết Trò chơi có một thuật ngữ gọi là "Nói chuyện rẻ tiền" (cheap talk): chỉ đơn giản là những tuyên bố với chi phí gần như bằng không, nhưng cuối cùng vẫn phải đối mặt với các ràng buộc của thực tế. Ban đầu mọi người chỉ là nói một số quan điểm cực đoan với chi phí thấp, nhưng khi vấn đề được xác định là "cuộc khủng hoảng sinh tồn của loài người", những quan điểm đó có thể được người ta đón nhận, từ đó cung cấp cái cớ cho hành vi cực đoan.

Điều này không phải là các sự kiện độc lập, mà là một chuỗi các lập luận ngày càng leo thang, tăng cường lẫn nhau, xoay quanh một hệ thống tư duy mang màu sắc của lý thuyết của ngày tận thế. Nếu đẩy logic này đến đỉnh điểm, nó thậm chí có thể chấp nhận "vì cứu rỗi 1% cuối cùng, hy sinh 99% dân số".

Sự việc phát triển sao cho một người hiểu theo nghĩa đen và hành động chỉ là vấn đề thời gian. Chàng trai trẻ kia đọc quyển sách đó, tham gia cộng đồng đó và cũng viết bài tuyên ngôn của mình. Trong một bài tự kể được viết cho lớp tiếng Anh của trường cộng đồng, anh ta tự xác định mình là "hậu quả chủ nghĩa" (consequentialist): "Nếu kết quả không khớp, tôi gần như không tin vào động cơ." Anh ta tự gọi mình là "Chiến binh Butlerian" (Butlerian Jihadist). Vào ngày 3 tháng 12, anh ấy viết trên Discord của PauseAI: "Chúng ta đang gần bước vào nửa đêm, là lúc thực sự hành động."

Và sau đó, anh ta đã thực sự hành động.

Họ đưa cho anh ta một "Bài toán Xe điện": một sinh mệnh, so sánh với toàn nhân loại. Anh ta kéo tay ga xuống.

Bức tweet trên (Air Katakana) nói: Yudkowsky (yud) đã gieo vào trong đầu người đó một "Bài toán Xe điện": trên một đường ray là Sam Altman, trên đường ray kia là toàn bộ nhân loại bao gồm cả Sam Altman. Chàng trai đó có lẽ nghĩ rằng mình đang chuẩn bị giành Giải Nobel Hòa bình.

Bức tweet dưới được trích dẫn (Randolph Carter) nói: Có một người đã sử dụng chai xăng tấn công nhà của một CEO AI, sau đó ngay lập tức chạy đến OpenAI đe dọa mọi người ở đó và những "người bi quan" (doomers) lại nói: "Đây có thể là bất kỳ ai, chúng ta cũng không rõ..."

Còn một điều châm biếm cuối cùng đáng chú ý. Nếu những "người bi quan" (doomers) thực sự tin tưởng vào nhận định của họ với mức độ tin cậy mà họ tuyên bố, thì họ nên trung thực hơn đối mặt với những hậu quả được suy luận từ những niềm tin đó.

Chính trong vài tuần trước vụ tấn công, một phóng viên đã hỏi Yudkowsky: Nếu AI đáng sợ đến vậy, tại sao anh không tấn công trung tâm dữ liệu? Trả lời thông qua Suarez mà anh ta truyền đạt là: "Nếu bạn đọc một tin tức nói rằng tôi đã làm điều đó, liệu bạn sẽ nghĩ 'Wow, AI đã bị ngăn chặn, chúng ta an toàn rồi' không? Nếu không, thì thực ra bạn đã biết, phương pháp này không hiệu quả."

Lưu ý rằng câu trả lời này không nói gì cả. Đó không phải là "vì bạo lực là sai", mà là "vì hiện tại việc này vẫn chưa có hiệu quả". Sự kiềm chế này đến từ việc xem xét chiến lược, chứ không phải hạn chế đạo đức. Và cộng đồng này hiểu rõ điều đó. Dưới bề mặt, có một sự đồng tình chưa được nói ra: Sai lầm lớn nhất của chàng trai trẻ đó chỉ là không phù hợp thời điểm.

Đây chính là điều tôi muốn nói: Trí tuệ không đồng nghĩa với quyền lực. Điều này cũng chính là khuyết điểm sâu nhất trong triết lý của toàn bộ thế giới "Apocalypse".

Khung cảnh của Yudkowsky dựa trên một sự lẫn lộn: Chỉ cần AI đủ thông minh, nó sẽ tự nhiên có khả năng phá hủy con người, vì "trí tuệ sẽ tự động chuyển hóa thành khả năng". Nhưng nhiều người theo đuổi ý kiến của ông lại không có nền kỹ thuật. Họ không xây dựng hệ thống AI, không làm về kỹ thuật đồng bộ. Điều họ có là một loại "trí tuệ ngôn ngữ" cụ thể, có thể xây dựng lập luận về rủi ro phức tạp và dựa vào đó thuyết phục chính họ rằng họ có một loại "quyền uy thần thánh" đối với công nghệ. Họ có thể xây dựng lập luận, nhưng không thể xây dựng hệ thống.

Điều này không phải là tình cờ, mà là một tham chiếu được viết vào văn bản cơ bản của họ. "Harry Potter và con đường Lý Trí" của Yudkowsky về bản chất đã mô tả một thế giới: Người có khả năng lý luận nhất nên được hiếm hơn mọi hệ thống khác. "The Sequences" cung cấp một bộ "tín điều" hoàn chỉnh: Một nhóm nhỏ người "suy luận đúng", vượt trội về nhận thức và đạo đức, lý luận của họ cho phép họ có đủ tư cách quyết định người khác có thể xây dựng cái gì. Điều này không phải là một phong trào an toàn, mà giống như một "hệ thống giáo lý" có nguồn gốc thần thánh.

Yudkowsky có thể tạo ra sự cách biệt với chàng trai trẻ ném bình xăng, nhưng ông không thể cắt đứt chuỗi lập luận ba phần đó. Nếu người tạo ra sẽ giết chết tất cả mọi người, thì ngăn chặn người tạo ra là tự vệ. Đó mới chính là quan điểm cốt lõi, rõ ràng và sáng sủa. Vấn đề luôn chỉ là: Khi nào có người nào đó nắm lấy điều đó mà thôi.

Chính vì vậy, khi logic của họ vào lúc 3 giờ 45 phút sáng, cầm theo lọ xăng, họ không nên ngạc nhiên nữa.

[Link gốc]

Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia