Làm thế nào để nghiên cứu tốt: Rèn luyện những năng lực thực sự có thể "luyện tập có chủ đích"

Đọc bài viết này mất 11 phút

Khả năng nghiên cứu không phải là tài năng bẩm sinh, mà là một bộ kỹ năng nhỏ có thể luyện tập có chủ đích.

Tiêu đề gốc: how to be good at research

Tác giả gốc: vivek, nhà phân tích AI

Biên dịch gốc: Thực tiễn ca MinLi, AI Builder

Không ai thực sự dạy bạn cách làm nghiên cứu. Bạn nhận được một chiếc bàn làm việc, một vấn đề do người khác chọn, và một chỉ thị mơ hồ là "tạo ra thứ gì đó mới".

Vì vậy, hầu hết mọi người đều đảo ngược công việc này dựa trên những gì họ có thể thấy (như bài báo, bài đăng và thông báo), và cuối cùng họ chỉ học cách "trông giống" một nhà nghiên cứu, chứ không phải "trở thành" một nhà nghiên cứu. Năng lực nghiên cứu thực sự là sự chồng chất của một loạt các kỹ năng nhỏ, và hầu như mỗi kỹ năng đều có thể được rèn luyện thông qua thực hành có chủ đích.

Tự chọn vấn đề của riêng bạn

Richard Hamming có một thói quen tại phòng thí nghiệm Bell khiến ông không được ưa chuộng trong bữa trưa. Ông sẽ hỏi người ngồi cạnh rằng vấn đề quan trọng trong lĩnh vực của họ là gì, và sau đó hỏi tại sao họ không nghiên cứu những vấn đề đó. Thế là mọi người lần lượt đổi bàn ăn.

Câu hỏi này rất nhức nhối, vì hầu hết chúng ta không thể đưa ra câu trả lời tốt. Chúng ta không chọn vấn đề, mà đang hấp thụ vấn đề – từ người hướng dẫn, từ thông báo của một phòng thí nghiệm lớn nào đó trong quý trước, từ những bài báo mà mọi người đang chia sẻ và trích dẫn trong tuần này.

Vấn đề với những vấn đề được hấp thụ là bạn chỉ nắm được kết luận, mà không biết logic suy luận đằng sau. Bạn biết một phòng thí nghiệm nổi tiếng nào đó quan tâm đến một hướng đi, nhưng bạn không biết tại sao, không biết họ kỳ vọng khám phá ra điều gì, và cũng không biết tình huống nào sẽ khiến họ từ bỏ hướng đi đó.

Khi họ chuyển hướng, bạn sẽ phát hiện ra sau đó một năm. Và, trên một vấn đề đã trở nên phổ biến, bạn đang chạy đua với 1.000 người khởi đầu sớm hơn bạn và có nhiều sức mạnh tính toán hơn.

Hướng dẫn nghiên cứu máy học của John Schulman chia công việc này thành hai chế độ. Chế độ thứ nhất, bạn đọc tài liệu và tìm kiếm những điểm có thể cải thiện. Chế độ thứ hai, bạn chọn một kết quả mà bạn thực sự mong muốn đạt được, và sau đó suy luận ngược để thiết kế thí nghiệm.

Ông ủng hộ chế độ thứ hai, lý do ẩn sâu là điều này tạo ra tính nguyên bản. Một mục tiêu mà bạn thực sự quan tâm sẽ kéo bạn vào những lãnh thổ mà không bài tổng quan nào từng đề cập.

Về "gu" (taste), mọi người thường nói về nó như một tài năng bẩm sinh. Nhưng nó thực sự hoạt động giống như một cơ bắp hơn.

Trước khi chạy mỗi thí nghiệm, hãy dự đoán kết quả của nó; che đi phần kết quả của một bài báo, chỉ dựa vào phương pháp của nó để suy luận dữ liệu; ghi lại những công trình nào được công bố trong tháng này mà vẫn còn quan trọng sau hai năm, rồi sau đó kiểm tra tỷ lệ dự đoán chính xác của bạn. Một lần dự đoán cộng với một lần sửa lỗi, lặp lại hàng trăm lần — mọi mô hình tốt đều được huấn luyện như vậy, bao gồm cả mô hình trong đầu bạn.

Nâng cấp đầu vào của bạn

Danh sách đọc chung tạo ra những ý tưởng chung. Nếu khẩu phần thông tin của bạn chỉ là danh sách hot trên arXiv cộng với những thứ còn sót lại sau khi lọc qua nhóm chat, bạn chắc chắn sẽ đi đến cùng một kết luận với mọi người cùng lúc, và điều này khiến những kết luận đó gần như vô giá trị.

Giá trị của tài liệu cũ bị đánh giá thấp nghiêm trọng. Lĩnh vực này luôn lặp lại quá khứ của chính nó với độ trễ: Mixture of Experts (MoE) có từ năm 1991, LSTM từ năm 1997, backpropagation đã trở thành chủ đạo từ năm 1986.

Rich Sutton chỉ dùng hơn một nghìn chữ để viết "The Bitter Lesson" vào năm 2019, và nó dự đoán quỹ đạo phát triển của lĩnh vực này chính xác hơn cả những bài tổng quan dài gấp mười lần. Claude Shannon đã có một bài diễn thuyết về tư duy sáng tạo vào năm 1952, và thủ thuật đầu tiên của ông là thu nhỏ vấn đề xuống gần như tầm thường, giải quyết phiên bản thu nhỏ đó, rồi từ từ tăng độ khó trở lại.

Chỉ riêng thủ thuật này đã có thể giúp bạn phá vỡ nhiều bức tường hơn bất kỳ lời khuyên năng suất hiện đại nào.

Bề rộng và chiều sâu đều quan trọng như nhau. Nghiên cứu về khả năng giải thích (interpretability) vay mượn một cách không che giấu từ khoa học thần kinh; thiết kế Eval chính là cơ chế thiết kế (mechanism design) khoác áo blouse trắng; chỉ cần có hiểu biết thực tế về cách GPU di chuyển bộ nhớ, bạn có thể phán đoán bài báo kiến trúc nào chắc chắn thất bại trước khi kết quả benchmark được công bố; và thống kê trung thực có lẽ là kỹ năng khan hiếm nhất trong lĩnh vực machine learning, nơi mà nhiều "sự nghiêm ngặt" được công bố chỉ là "cảm giác" kèm thanh lỗi (error bars).

Còn một điều nữa. Hãy đọc chính bài báo, chứ không phải bài tóm tắt về nó. Phụ lục (appendix) mới là nơi chôn giấu bí mật, và phần "hạn chế" (limitations) thường là đoạn trung thực nhất trong toàn bộ tài liệu.

Viết mọi thứ ra giấy

Paul Graham chỉ ra rằng, một ý tưởng luôn có vẻ đã rất chín muồi trước khi bạn cố gắng biến nó thành chữ viết. Nhưng chữ trắng trên giấy đen sẽ phơi bày những lỗ hổng mà bộ não bạn đã tô vẽ: những giả định bạn chưa bao giờ kiểm tra, những bước thực sự không mạch lạc, hai tuyên bố âm thầm mâu thuẫn với nhau.

Nguyên tắc của Feynman là: người đầu tiên bạn phải tránh lừa dối chính là bản thân mình, bởi vì bạn là mục tiêu dễ bị đánh lừa nhất. Viết lách là cơ chế phòng vệ rẻ nhất từng được phát minh trong lịch sử.

Darwin đi xa hơn, ông đã hệ thống hóa nó: bất kỳ sự thật nào mâu thuẫn với lý thuyết của ông đều được ghi lại ngay lập tức, vì ông nhận thấy trí nhớ của mình xóa bỏ bằng chứng bất lợi nhanh hơn nhiều so với bằng chứng có lợi. Trí nhớ của bạn cũng vậy đối với hồ sơ thất bại của chính mình.

Hãy duy trì thói quen ghi nhật ký: giả định, thiết lập, kỳ vọng, kết quả, nhận thức cập nhật. Đọc lại bản ghi của tháng trước sẽ khiến bạn vô cùng khiêm tốn, không một người đánh giá nào có thể mang lại hiệu quả đó.