如何真正做研究（沒人給過你的指南）

元描述：一份做好研究的實用指南。如何挑選問題、培養品味、升級輸入、寫作以思考、縮短反饋循環，以及尋找能讓你的工作變得更好的伙伴。

沒有人會教你如何做研究。你得到一張辦公桌、一個別人選好的問題，以及一條要產出新穎成果的模糊指令。因此，大多數人都從他們能看到的表面事物（如論文、發佈會和討論串）中逆向工程這份工作，而他們最終學到的是如何讓自己「看起來」像個研究員，而不是如何「成為」一個研究員。

真正的研究技能是一系列更小技能的堆疊。挑選問題、良好地閱讀、寫作以思考、進行快速循環的實驗、直視自己的失敗、找到對的人。幾乎每一項技能都可以進行刻意練習，但幾乎沒有一項技能會在任何正式場合中被傳授。

本指南借鑑了 Hamming、Feynman、Shannon 和 Darwin 的研究傳統，並結合了 John Schulman、Andrej Karpathy、Chris Olah 和 Andrew Ng 的最新思考。這些理念的應用遠遠超出了任何單一領域。

挑選你自己的問題

Richard Hamming 在貝爾實驗室（Bell Labs）有一個習慣，這使他在午餐時間很不受歡迎。他會坐在某人旁邊，詢問他們領域中重要的問題是什麼，然後問他們為什麼不致力於解決這些問題。人們因此紛紛換桌。這個問題之所以刺痛人，是因為大多數研究人員都沒有一個好的答案。他們與其說是選擇問題，不如說是「吸收」問題：來自導師、來自某個主要實驗室上季度發佈的內容，或者來自本週被瘋狂轉發的任何論文。

吸收問題的麻煩在於，你只掌握了結論而沒有掌握推理過程。你知道某個著名團隊關心某個方向，但你不知道為什麼、他們期望發現什麼，或者什麼會讓他們放棄這個方向。當他們轉向時，你一年後才會知道。而在一個已經流行的問題上，你正在與一群起步更早、資源更多的對手競爭。

John Schulman 的機器學習研究指南描述了兩種模式。在第一種模式中，你閱讀文獻並尋找可以改進的地方。在第二種模式中，你選擇一個你真正希望存在的結果，並逆向推理到實驗。他主張採用第二種模式，其背後隱秘的原因在於它能創造原創性。一個你真正關心的目標會將你拉入任何綜述論文都沒有覆蓋的領域，因為那篇綜述是由一個沒有你特定問題的人寫的。

這不僅適用於機器學習。一個因為某個問題對自己很重要而挑選該問題的历史學家，與一個挑選現有文獻中下一個顯而易見空白的历史學家相比，會產出截然不同的成果。一個從自己親身經歷的問題出發的設計師，會發現文獻驅動方法所遺漏的東西。無論哪種方式，研究工作流程都是一樣的。但起點改變了你最終走向的一切。

培養品味

研究中的品味——區分重要問題與瑣碎問題、有前景的方法與死胡同的能力，常常被談論得像是一種天賦。但它的運作方式其實更像一塊肌肉。

Claude Shannon 在 1952 年做了一場關於創造性思維的演講，他的第一步行動是縮小問題，直到它幾乎變得微不足道，解決這個微型版本，然後一次重新引入一個難點。這單一項技術將帶你突破重圍，比任何現代的生產力建議都更有效。

一些隨時間推移能培養品味的實踐：在運行每個實驗之前，預測其結果。遮住論文的結果部分，僅憑方法來猜測數據。記錄本月發佈的哪些內容在兩年後仍會發揮重要作用，並在稍後檢查你的命中率。預測加上修正，重復數百次，就是每個優秀模型（包括你大腦中的那個模型）的訓練方式。

升級你的輸入

共享的閱讀清單產生共享的思想。如果你的信息飲食只是預印本服務器的趨勢頁面，再加上群聊過濾器中倖存下來的內容，你就會可靠地在同一時間得出與其他所有人相同的結論，這使得這些結論變得幾乎毫無價值。

舊的資料價格被嚴重低估了。大多數領域都在延遲重演自己的歷史。Rich Sutton 在 2019 年只需要大約一千個字就寫出了《慘痛的教訓》（The Bitter Lesson），它比長度是其十倍的綜述更能預測 AI 領域的走向。Shannon 在 1952 年關於創造性思維的講座至今仍比大多數當代關於該主題的建議更有用。卡片筆記簿（Commonplace book）傳統之所以存在，正是因為來自舊讀物的最佳思想會隨着歲月積累，而本週流行的論文永遠無法做到這一點。

視野的寬度與深度同樣重要。可解釋性借鑑了神經科學。評估設計其實是穿著實驗袍的機制設計。對硬件實際上如何移動數據的實用理解，能在基準測試到來之前告訴你哪些架構論文注定失敗。產出最有趣成果的研究人員往往比同行閱讀得更廣泛，而不僅僅是更深入。

而且要閱讀論文本身，而不是總結它的討論串。附錄是隱藏關鍵細節的地方，而限制部分通常是文檔中最誠實的段落。邊讀邊做註釋迫使你參與實際的論證，而不是吸收別人對它們的解讀。

把一切都寫下來

Paul Graham 指出，一個想法在你想辦法用語言表達出來之前，感覺可能是完全成熟的。但紙面會發現你大腦掩蓋的空白：你從未測試過的假設、實際上並不成立的步驟、兩個悄悄相互矛盾的聲稱。

Feynman 的規則是，你首先必須避免愚弄的人是你自己，因為你是最容易被愚弄的目標。寫作是人類發明的最廉價的防範自我欺騙的防禦手段。Darwin 更進一步，將其程序化：任何與他的理論相悖的事實都會被當場記錄下來，因為他發現自己的記憶刪除不便證據的速度比保留方便證據的速度還要快。你的記憶對你失敗的實驗也會做同樣的事情。

保持一份研究日誌：假設、設置、預期、結果、更新的信念。重讀上個月的記錄會讓人保持謙遜，這是任何同行評審都無法比擬的。日誌還會產生復利：六個月有記錄的思考是一項你可以搜索、模式匹配並在此基礎上構建的資源。而對你認為自己記得的事情保留六個月的記憶是不可靠的，且會變得越來越糟。

一個帶有語義搜索的筆記系統意味著你的研究日誌可以通過含義而不是你寫作時可能遵守或未遵守的歸檔常規來保持可尋找性。「我測試學習率假設的那個實驗」即使你將其歸檔在不同的項目名稱下，也能找到該條目。

公開其中一部分內容

Chris Olah 和 Shan Carter 關於研究債務的文章提出了一個論點：各個領域都因未消化的想法而窒息，而清晰的解釋本身就是一種貢獻，而不是一項服務工作。今天在可解釋性領域工作的許多人都是通過易讀的博客文章而不是會議論文找到這個領域的。

公開寫作的主體也是你所能持有的最強大的憑證，因為它是你如何思考的不可偽造的樣本。一個累積了你數月思考的數位花園或博客，能讓潛在的合作者和雇主了解你的心智，這是履歷永遠無法做到的。

也把你不成熟的想法在公開場合發表出來，因為在時間線上出錯代價遠低於在印製品中出錯。而且，在你不自覺地投入三個月時間之前就告訴你一個想法很糟糕的合作者，其價值勝過任何數量的計算資源。

縮短循環

關於最高產研究人員的故事很少涉及單一的靈感閃現。它們涉及數量：每天進行更多實驗，每週丟棄更多錯誤想法，以及一個比其他任何人更新更快的現實模型。研究速度很大程度上就是你發現自己出錯的速度。

這使你的工具鏈成為一等的研究活動。啟動一個實驗應該只需一條命令。繪製結果應該只需再一條。每個實驗都應該可以從其配置中重現，而比較兩次運行應該只需幾秒鐘，而不是一個下午的「考古」。縮小一切，直到其成本低廉，在小規模上做對，然後再投入資源。

並摒棄工程是配角的想法。在大多數領域的前沿，這兩項工作已經融合。能夠構建測試框架、評估和數據管道的研究人員，其假設才能真正得到測試。其他所有人都在排隊等待。

同樣的原則也適用於你的信息基礎設施。如果尋找你三個月前讀過的一個來源需要花二十分鐘在文件夾中尋找，那麼你的循環就太慢了。如果你的研究筆記散落在五個不同的應用程序中，你就在為每個綜合步驟增加摩擦。將你的研究材料整合到一個可搜索的庫中，在信息上相當於編寫一個好的實驗測試框架：它能讓下游的一切變得更快。

盯緊輸出結果

一條下降的損失曲線不是分析。它是安慰。你的實驗拋出的信息遠比你消耗的多：轉錄文本、失敗案例、分佈的奇特尾部。其中大部分都在日誌文件夾中無人閱讀地消逝。

Andrew Ng 十多年來一直教授同樣不顯眼的做法，因為沒有什麼能擊敗它：抽取出一百個失敗案例，閱讀所有案例，將它們分類，主攻最大的一堆。它適用於模型，也適用於評估，在評估中，一個你從未閱讀過其轉錄文本的基準，就是一個你實際上並不理解的基準。

一份出錯事情的轉錄文本教給你的東西，會比下一個精確度小數點還要多。輸出結果正在與你對話。大多數研究人員沒有在聽，因為聆聽是乏味的，而損失曲線就在那裡，正在下降，看起來令人鼓舞。

尋找你的同伴

Hamming 注意到誰最終做出重要工作的規律。辦公室門緊閉的同事在任何特定年份都能完成更多工作。但敞開大門的同事做出了至關重要的工作，因為打擾帶來了關於世界實際需要什麼的信息。

在研究中，慷慨大方的回報積累是無與倫比的。複製一個結果並分享你的發現。發佈你自己構建的工具。用通俗的語言解釋困難的事情。回報會在數月後從側面到來，以合作、引用或你本無法申請的角色的形式出現。

在你不自覺地投入三個月時間之前就告訴你一個想法很糟糕的合作者，其價值勝過計算資源。這種關係是買不來的。它只能通過成為對他人做同樣事情的人來贏得。

長線遊戲

Pasteur 說機會青睞有準備的心靈，Hamming 在此基礎上構建了他的職業哲學：知識和生產力像利息一樣會產生複利。孤立地看，每日的微小優勢看起來微不足道。你讀了什麼、你記錄了什麼、你的循環運行有多快、你與誰爭論。給它們幾年時間，它們就會創造出在外界看來像是運氣的職業生涯。

比感覺有必要的時間更早開始積累。未來的你已經知道，這曾是最容易的部分。

常見問題

我該如何發現自己領域中的重要問題？

廣泛閱讀，特別是你的直接子領域之外。與使用研究成果的從業者交流，詢問他們工作中真正困難的是什麼。保持一份讓你感到驚訝的問題清單，並每月重新審視它。重要的問題通常不是那些流行的問題；它們是那些一旦解決就會改變一切可能性的問題。

我該如何更好地閱讀論文？

先閱讀摘要和結論，在閱讀方法之前先理解其主張。遮住結果，並根據方法對其進行預測。閱讀限制部分，這通常是最誠實的部分。邊讀邊做註釋，並在事後寫下一份簡短的文獻筆記。目標是參與，而不是消耗。

我應該花多少時間在閱讀與實踐上？

沒有普遍的比例，但如果你兩週內沒有運行過實驗，你可能閱讀太多了。如果你在運行實驗時無法闡明它們回答了什麼問題，你可能閱讀不夠。兩者應該相輔相成：閱讀產生假設，實驗測試假設，結果讓你帶著更尖銳的問題回到閱讀中。

作為一名早期職業研究人員，我該如何建立人際網絡？

通過產出有用的公開成果。撰寫清晰的解釋。分享工具和複製結果。具體且實質性地參與他人的工作，而不是泛泛而談。網絡是圍繞工作形成的，而不是圍繞社交活動形成的。

相關閱讀：你的信息飲食正在讓你變得平庸、研究日誌。相關指南：研究工作流程、卡片盒筆記法、文獻探討、數位花園、卡片筆記簿、論文工作流程。