OpenAI Co-Founder Karpathy Interview: LLM is a New Kind of Computer, Everything Must Be "Rewritten"

Video Title: Andrej Karpathy: Từ lập trình Vibe đến Kỹ thuật Agentic

Video Source: Sequoia Capital
Translation: Bao Yilong, Wall Street Journal

Đồng sáng lập OpenAI Andrej Karpathy trong cuộc phỏng vấn mới nhất cho biết, mô hình ngôn ngữ lớn đang được coi như "máy tính mới" tái cấu trúc toàn diện kiến trúc máy tính.

Vào ngày 29 tháng 4, Andrej Karpathy, người đã từng dẫn đầu phát triển Autopilot của Tesla và có vai trò quan trọng tại OpenAI, đã tham gia sự kiện do AI Sent tổ chức, tại đó ông phân tích sâu về sự tiến xa về công nghệ của AI hiện tại và tác động sâu rộng của nó đối với hệ sinh thái phần cứng và phần mềm.

Karpathy cho biết, kể từ tháng 12 năm ngoái, anh đã nhận ra rằng quy trình làm việc tập trung vào đại lý đã thực sự trở nên khả dụng, điều này đánh dấu sự xuất hiện thực sự của thời đại Phần mềm 3.0.

Ông nói: Nhiều người dư luận năm ngoái vẫn nhớ đến AI với ChatGPT, nhưng bạn phải nhìn lại từ tháng 12, đặc biệt là từ thời điểm đó - mọi thứ đã thay đổi căn bản.

Anh cũng đưa ra khái niệm mới "kỹ thuật đại lý" (agentic engineering) nhằm phân biệt với "lập trình Vibes" mà anh đã đặt tên vào năm ngoái, trong đó kỹ thuật đại lý đề cập đến việc duy trì và tăng tốc tiêu chuẩn chất lượng trong phát triển phần mềm chuyên nghiệp.

Anh thẳng thắn cho biết, nhiều mã nguồn hiện có và ứng dụng không "nên tồn tại" trong mô hình mới này, trong khi quy trình tuyển dụng, công cụ phát triển và cơ sở hạ tầng hiện tại vẫn được thiết kế cho con người chứ không phải cho đại lý.

Bình minh của Phần mềm 3.0: Quyền lực trong kiến trúc tính toán cơ bản

Công nghiệp công nghệ đang đứng trước một ngã rẽ từ sự thay đổi lượng tử sang chất lượng.

Tháng 12 năm ngoái đã là một điểm quay quan trọng, Karpathy thừa nhận rằng, đối mặt với các mô hình AI mới nhất, anh đã trải qua cảm giác sốc sâu sắc:

Các khối mã được hệ thống tạo ra ngày càng hoàn hảo hơn, mức độ tôi thậm chí không nhớ được lần sửa đổi mã trước đó là khi nào. Tôi chỉ càng tin tưởng hệ thống này... (điều này khiến tôi) chưa bao giờ cảm thấy mình kém cỏi như một lập trình viên.

Động đất này đã hoàn toàn làm đổ đáo mô hình tính toán. Trong tư duy của Karpathy, thị trường hiện đang đánh giá thấp sâu độ của sự thay đổi này.

Ông chỉ ra rằng, chúng ta đang nói lời tạm biệt với "phần mềm 1.0 (code)" và "phần mềm 2.0 (cấp phối liệu huấn luyện mạng nơ-ron)", chính thức bước vào thời đại "phần mềm 3.0".

Trong thời kỳ mới này, mô hình ngôn ngữ lớn chính là một "máy tính mới".

Ông nói: Việc lập trình của bạn hiện đã trở thành việc viết gợi ý, trong khi nội dung trong cửa sổ ngữ cảnh là bạn điều khiển cần sa của mô hình ngôn ngữ lớn đó như một bộ dịch, để nó thực thi tính toán trong không gian thông tin số học.

Điều khiến mọi người chú ý hơn cả là dự đoán táo bạo của ông về sự tiến hóa cơ sở hạ tầng phần cứng trong tương lai.

Hiện tại, mạng nơ-ron vẫn chạy dưới dạng ảo trên máy tính hiện tại, nhưng ông tin rằng trong tương lai mối quan hệ chủ-khách này sẽ đảo ngược: Bạn có thể tưởng tượng, mạng nơ-ron sẽ trở thành quy trình chính, còn CPU sẽ trở thành một loại bộ xử lý phụ trợ nào đó. Mạng nơ-ron sẽ đảm nhận hầu hết công việc nặng nhọc.

Điều này có nghĩa là, "năng suất thông minh" chiếm vị trí nhân tố chiến lược tiếp tục tối ưu chi phí vốn trên toàn bộ thị trường trong tương lai.

Hạ tầng thế hệ tiếp theo: Tái cấu trúc hệ sinh thái "có nhiệm vụ"

Khi việc thực thi và mã hóa được máy móc tiếp quản, giá trị cốt lõi của con người và hình thái hạ tầng tương lai sẽ đưa chúng ta đi về đâu?

Karpathy thẳng thắn nói: Mọi thứ phải được viết lại.

Hiện tại tài liệu hướng dẫn của các framework và thư viện trên internet vẫn "được viết bởi con người", điều này khiến ông cảm thấy rất phiền não.

Karpathy than phiền: Tại sao phải nói cho tôi biết phải làm gì? Tôi không muốn làm gì cả. Tôi chỉ cần sao chép và dán văn bản nào cho trợ lý trí tuệ của tôi?

Cơ hội lớn của thị trường trong tương lai nằm ở việc xây dựng cơ sở hạ tầng "có nhiệm vụ ưu tiên".

Trong thế giới này, hệ thống được phân tách thành "cảm biến" để cảm nhận thế giới và "bộ thực thi" để chuyển đổi thế giới, cấu trúc dữ liệu phải làm cho mô hình ngôn ngữ lớn trở nên dễ đọc, trợ lý máy móc đại diện cho cá nhân và tổ chức tương tác trên đám mây.

Trong tương lai được tự động hóa mạnh mẽ như vậy, giá trị cốt lõi của con người sẽ quay trở lại là sự thẩm mỹ, sự phán đoán và hiểu biết kinh doanh sâu sắc nhất.

Karpathy đã trích dẫn một câu ông lặp đi lặp lại trong bài thuyết trình làm tổng kết: Bạn có thể giao cho người khác suy nghĩ của mình, nhưng bạn không thể giao cho người khác sự hiểu biết của mình.

Kỹ Sư Tác Động: Sức Mạnh Sáng Tạo Vượt Qua Gấp Mười

Trên chiều sâu của việc tăng cường năng suất, Karpathy phân biệt hai khái niệm chính: "Lập Trình Bầu Không Khí (Vibe coding)" và "Kỹ Sư Tác Động (Agentic engineering)".

Ông chỉ ra rằng, "Lập Trình Bầu Không Khí" nâng cao ngưỡng dưới của việc tất cả mọi người đều tham gia phát triển phần mềm, trong khi "Kỹ Sư Tác Động" nhằm duy trì ngưỡng trên về chất lượng của phần mềm chuyên nghiệp.

"Kỹ Sư Tác Động" không chỉ là về tăng tốc, mà còn yêu cầu các nhà phát triển phối hợp với những AI Agent "dễ mắc lỗi, ngẫu nhiên nhưng mạnh mẽ" đó, với điều kiện là không phải hy sinh chất lượng mà vẫn tiến triển với tốc độ cao.

Điều này cũng sẽ mở rộng rất lớn không gian tưởng tượng về sản phẩm của doanh nghiệp.

Karpathy chỉ ra: "Mọi người đã từng nói về Kỹ Sư với Gấp Mười tác động", 10 lần không đủ để mô tả tốc độ tăng năng suất mà bạn đạt được. Trong quan điểm của tôi, những người xuất sắc trong lĩnh vực này, đạt đến đỉnh cao năng suất của họ vượt xa 10 lần."

Đối mặt với sự bùng nổ năng suất như vậy, tổ chức và quy trình tuyển dụng nhân tài của doanh nghiệp phải được cải thiện.

Ông đề xuất doanh nghiệp từ bỏ phỏng vấn giải thuật truyền thống, và chuyển sang đánh giá cách ứng cử viên sử dụng nhiều AI Agent cùng nhau xây dựng dự án lớn, và có khả năng chống lại cuộc tấn công từ các AI Agent khác.

Điểm Mạnh trong Triển Khai Kinh Doanh AI

Đối với các nhà khởi nghiệp và nhà đầu tư đang tìm kiếm cơ hội triển khai ứng dụng AI, Karpathy cung cấp một khung đánh giá cực kỳ thực tế: Độ Xác Minh.

Hiện nay, khả năng của AI đang bộc lộ một "điểm mạnh" vô cùng kỳ lạ.

Ông đưa ra ví dụ: Mô hình tiên tiến nhất hiện nay có thể cùng một lúc tái cấu trúc 100,000 dòng mã nguồn hoặc tìm lỗ hổng zero-day, tuy nhiên lại bảo tôi nên đi bộ đến tiệm rửa xe chỉ cách 50 mét, điều này thật là kỳ cục.

Lý do tạo ra sự chia rẽ này là, các phòng thí nghiệm tiên tiến (như OpenAI và các tổ chức khác) đã đổ một lượng lớn nguồn lực học tăng cường vào các lĩnh vực "toán học" và "mã nguồn" mà kết quả của chúng dễ dàng được xác minh.

Do đó, chỉ cần hoạt động trong các tình huống thương mại có thể xác minh kết quả, trí tuệ nhân tạo có thể phát huy sức mạnh lớn.

Karpathy gợi ý rằng vẫn còn rất nhiều môi trường học tăng cường có thể xác minh có giá trị cao trên thị trường mà các phòng thí nghiệm hàng đầu chưa tập trung vào, đó chính là một bãi biển lớn cho các công ty khởi nghiệp để hiệu chỉnh (Fine-tuning) và thương mại hóa.

Liên kết video gốc