実践的なリサーチのやり方（誰も教えてくれないガイド）

メタディスクリプション: 研究をうまく進めるための実用的なガイド。問題の選び方、センスの磨き方、インプットの強化、思考を整理するための執筆、フィードバックループの短縮、そしてあなたの仕事をより良くしてくれる仲間を見つける方法について解説します。

研究のやり方を教えてくれる人は誰もいません。デスクと、誰かが選んだ課題、そして「何か斬新なものを生み出せ」という漠然とした指示が与えられるだけです。そのため、ほとんどの人は、論文や発表、SNSのスレッドなど、目に見えるものから仕事を逆算して覚えることになります。その結果、身につくのは「研究者である方法」ではなく「研究者らしく見せる方法」になってしまうのです。

実際の研究スキルとは、より小さなスキルの積み重ねです。問題を選ぶこと。上手に読むこと。思考を整理するために書くこと。高速なループで実験を回すこと。自らの失敗を凝視すること。適切な仲間を見つけること。これらのほぼすべては意図的にトレーニング可能ですが、正式な教育の場で教えられることはほとんどありません。

このガイドは、ハミング、ファインマン、シャノン、ダーウィンといった先人たちの研究の伝統に加え、ジョン・シュルマン、アンドレイ・カルパシー、クリス・オラー、アンドリュー・ンといった現代の第一人者たちの思想を参考にしています。これらのアイデアは、単一の分野を遥かに超えて応用できるものです。

自分で問題を選ぶ

リチャード・ハミングには、ベル研究所のランチタイムで周りから敬遠されるような習慣がありました。彼は誰かの隣に座ると、「君の分野における重要な問題は何か？」と尋ね、次に「では、なぜ君はその問題に取り組んでいないのか？」と問い詰めたのです。人々は座るテーブルを変えました。この質問が突き刺さるのは、大半の研究者がまともな答えを持っていないからです。彼らは問題を自ら選んでいるというよりも、指導教官から、あるいは大手研究所が前四半期に発表したものから、あるいは今週シェアされている論文から、なんとなく吸収しているに過ぎないのです。

「吸収された問題」の厄介な点は、思考プロセスを経ずに結論だけを抱え込んでしまうことです。どこかの有名なグループがその方向性を重視していることは知っていても、なぜ重要なのか、彼らが何を期待しているのか、あるいは何をきっかけにそれを諦めるのかが分かりません。彼らがピボット（方向転換）したとき、それに気づくのは1年後になります。そして、すでに流行している問題に取り組む場合、自分よりも早くから始めて豊富なリソースを持つ集団と競い合うことになります。

ジョン・シュルマンによる機械学習（ML）研究のガイドでは、2つのモードが説明されています。1つは、文献を読んで改善点を探すモード。もう1つは、実際に存在してほしい結果を定め、そこから逆算して実験を組み立てるモードです。彼は後者を推奨していますが、その秘められた理由は「独創性を生み出せるから」です。自分が本当に気にかけている目標は、既存のいかなるサーベイ論文（まとめ論文）にも載っていない領域へとあなたを引っ張っていきます。なぜなら、そのサーベイを書いた人物は、あなたと同じ具体的な問いを持っていなかったからです。

これはML以外の分野にも広く当てはまります。歴史学者であっても、自分にとって重要だという理由で問いを選ぶ人は、既存の文献にある「次に埋めるべき明白なギャップ」を選ぶ人とは異なる研究を生み出すでしょう。デザイナーであっても、自分が個人として経験した問題から出発する人は、文献主導のアプローチでは見落とされてしまう何かを発見するはずです。どちらの道を選んでも、研究のワークフロー自体は同じです。しかし、出発点が異なるだけで、最終的な到達点はまったく違ったものになります。

センス（Taste）を磨く

研究における「センス」——重要な問いと些細な問いを見分ける能力、有望なアプローチと行き止まりを嗅ぎ分ける能力——は、天賦の才能のように語られがちです。しかし実際には、筋肉のように鍛えられるものです。

クロード・シャノンは1952年に創造的思考に関する講演を行いましたが、その最初の手法は「問題をほぼ些細と言えるレベルまで小さくし、その縮小版を解いてから、一度に一つずつ難易度を戻していく」というものでした。このたった一つのテクニックだけで、現代のいかなる生産性向上アドバイスよりも多くの壁を乗り越えることができるでしょう。

時間をかけてセンスを磨くためのいくつかの実践：すべての実験を行う前に、その結果を予想すること。論文の「結果」セクションを隠し、「手法」だけでその数値を推測してみること。今月リリースされたもののうち、2年後にも重要であり続けるものをメモしておき、後で自分の的中率を検証すること。予測と修正を数百回繰り返すこと——これこそが、あなたの頭の中にあるモデルを含め、すべての優れた予測モデルがトレーニングされる方法です。

インプットをアップグレードする

同じリーディングリストを共有すれば、同じアイデアが生まれます。もしあなたのインフォメーション・ダイエット（情報摂取の習慣）が、プレプリント（査読前論文）サーバーのトレンドページと、グループチャットのフィルターをかいくぐってきた情報だけで構成されているなら、あなたは確実に他の全員と同時期に同じ結論に達することになります。それはつまり、その結論の価値がほぼゼロになることを意味します。

古い資料は、犯罪的なまでに過小評価されています。大半の分野は、タイムラグを伴って自分たちの歴史を繰り返しています。リッチ・サットンが2019年に「苦い教訓（The Bitter Lesson）」を書くのに必要としたのは約1,000語でしたが、これはその10倍の長さのサーベイ論文よりも、AI分野の現在の輪郭を正確に予測しています。シャノンの1952年の創造的思考に関するレクチャーは、このテーマに関する現代の多くのアドバイスよりも依然として有用です。コモンプレイス・ブック（ネタ帳・着想ノート）の伝統が存在するのはまさに、古い読書から得た優れたアイデアが何年にもわたって複利的に積み重なるからです。今週のトレンド論文がそのような効果を持つことは決してありません。

深さと同じくらい、幅広さも重要です。解釈可能性（Interpretability）は神経科学からアイデアを借りています。評価設計は、白衣を着たメカニズムデザイン（制度設計）です。ハードウェアが実際にデータをどう移動させるかを実務レベルで理解していれば、ベンチマークを見る前からどのアーキテクチャ論文が破綻しているかが分かります。最も興味深い研究を生み出す研究者たちは、同僚よりも単に深く読んでいるだけでなく、より幅広く読んでいる傾向があります。

そして、スレッドにまとめられた要約ではなく、論文そのものを読んでください。付録（Appendix）にこそ重要な事実が隠されており、「限界（Limitations）」セクションは通常、その文書の中で最も正直な段落です。読みながら注釈（アノテーション）をつけることで、他人の解釈をただ吸収するのではなく、実際の議論に深くコミットせざるを得なくなります。

すべてを書き留める

ポール・グレアムは、アイデアというものは言葉にしようとする瞬間まで、完全に完成しているように錯覚してしまうものだと指摘しています。文字に書き起こすことで、頭の中で曖昧に誤魔化していた隙間が見つかります。検証したことのない前提、実際には繋がっていない論理のステップ、密かに矛盾している2つの主張などが明らかになります。

ファインマンのルールは、「絶対に騙してはいけない最初の相手は自分自身である。なぜなら、自分こそが最も騙しやすい相手だからだ」というものでした。執筆は、これまでに発明された自己欺瞞に対する最も安価な防衛策です。ダーウィンはさらに一歩進んで、それを仕組み化しました。自身の理論に反する事実はその場で書き留めるようにしたのです。都合の良い証拠よりも、不都合な証拠のほうを自らの記憶が早く消去してしまうことに気づいていたからです。あなたの記憶も、失敗した実験に対してまったく同じことを行います。

研究ログ（リサーチログ）をつけましょう。仮説、セットアップ、期待される結果、実際の結果、アップデートされた確信度。先月のエントリを読み返すことは、どんな査読者に批判されるよりも謙虚になれる体験です。また、このログは複利効果を生みます。6ヶ月分の思考の記録は、検索し、パターンを照合し、その上に積み重ねていける資産になります。自分が覚えていると思っている「6ヶ月前の記憶」は、当てにならず、日々劣化していきます。

意味検索（セマンティック検索）を備えたノートシステムがあれば、研究ログは、書いたときにルールに従って整理したかどうかにかかわらず、その「意味」によって見つけ出せるようになります。「学習率の仮説をテストしたあの実験」と検索すれば、たとえ別のプロジェクト名で保存していたとしても、そのエントリーを見つけ出すことができます。

一部を公開する

クリス・オラーとシャン・カーターによる「研究負債（research debt）」に関するエッセイでは、様々な分野が消化不良のアイデアによって窒息しかけており、明確な解説を提供することは単なるサポート業務ではなく、それ自体が立派な学術的貢献であると主張されています。現在、解釈可能性（Interpretability）の分野で働いている多くの人々は、学会発表の論文ではなく、読みやすいブログ記事を通じてこの分野を知りました。

また、公開された執筆物の蓄積は、あなたが持ち得る最も強力な実績（クレデンシャル）として機能します。なぜなら、それはあなたの思考プロセスを示す「偽造不可能なサンプル」だからです。デジタル・ガーデンや、数ヶ月にわたって思考を蓄積してきたブログは、履歴書（CV）では決して伝えることのできない、あなたの頭の中へと繋がる窓を、未来の共同研究者や雇用主に提供してくれます。

形になりきっていないアイデアも公の場に投下してみましょう。タイムライン上で間違えることは、論文を印刷してから間違えることよりも遥かに痛手が少ないからです。そして、3ヶ月の時間を費やす前に「そのアイデアは良くない」と教えてくれる共同研究者は、どんな計算資源（コンピューティング）よりも価値があります。

ループを縮める

最も生産性の高い研究者たちに関する逸話において、一発のひらめきが語られることは滅多にありません。語られるのは「量」です。1日あたりの実験回数が多いこと、1週間あたりに捨てる間違ったアイデアが多いこと、そして誰よりも早く現実モデルをアップデートしていることです。研究のスピードとは、主に「自分が間違っていると気づくスピード」のことです。

だからこそ、ツールの整備は最優先の研究活動となります。実験の実行はコマンド1つで行えるべきです。結果のプロットも、もう1つのコマンドで行えるべきです。すべての実験は設定ファイルから再現可能であるべきで、2つの実行結果の比較は、数時間を要する「考古学調査」ではなく、数秒で終わるべきです。すべてをローコストで回せるように縮小し、小さなスケールで正しく動かしてから、本番のリソースを投入しましょう。

そして、「エンジニアリングは研究の補佐役に過ぎない」という考えは捨ててください。ほとんどの最先端分野において、この2つの仕事は融合しています。実験のフレームワーク（harness）、評価、そしてデータパイプラインを構築できる研究者こそが、実際に自分の仮説をテストできる人物です。それ以外の人は、順番待ちの列に並んでいるに過ぎません。

同じ原則が、あなたの情報インフラにも当てはまります。もし3ヶ月前に読んだ情報源を探すのにフォルダを20分も漁る必要があるなら、あなたのループは遅すぎます。もしあなたの研究ノートが5つの異なるアプリに分散しているなら、情報を統合するすべてのステップに摩擦が生じています。研究資料を検索可能な1つのライブラリに統合することは、優れた実験フレームワークを書くことの情報版です。下流のすべてのプロセスを高速化してくれます。

出力（アウトプット）を凝視する

右肩下がりのロス（損失）曲線は、分析ではありません。ただの安心材料です。あなたの実験は、あなたが消費しているよりも遥かに多くの情報を吐き出しています。ログ、失敗事例、分布の奇妙な裾（ロングテール）など。そのほとんどは、読まれることなくログフォルダの中で消えていきます。

アンドリュー・ンが10年以上にわたって地味ながらも強力なこの手法を教え続けているのは、これに勝るものがないからです。100件の失敗事例を取り出し、そのすべてを読み、いくつかの山に分類し、最も大きな山を攻略する。これはモデルに対しても機能しますし、評価（evaluations）に対しても機能します。ログを一度も読んだことのないベンチマークは、実際には理解していないベンチマークと同じです。

何かが完全に破綻しているログを1つじっくり見ることは、精度をコンマ数桁上げるための実験を繰り返すよりも、多くのことを教えてくれます。出力はあなたに語りかけています。大半の研究者がそれに耳を傾けないのは、聞く作業が退屈であり、すぐそばに安心させてくれる右肩下がりのロス曲線があるからです。

仲間を見つける

ハミングは、最終的に重要な仕事を成し遂げた人々の共通パターンに気づきました。オフィスのドアを閉めていた同僚のほうが、その年における作業量は多くこなしていました。しかし、ドアを開けていた同僚のほうが、価値のある仕事を成し遂げました。なぜなら、不意の割り込みによって「世界が今、実際に必要としているもの」に関する情報がもたらされたからです。

研究において、寛容さは何よりも複利となって返ってきます。他人の結果を再現し、分かったことを共有しましょう。自分のために作ったツールを公開しましょう。難しいことを平易な言葉で説明しましょう。その見返りは、数ヶ月後に共同研究の誘い、参照（リファレンス）、あるいは公募すらされていなかったポジションという形で、斜め上からやってきます。

3ヶ月の時間を無駄にする前に「そのアイデアは良くない」と教えてくれる共同研究者は、計算資源（コンピューティング）よりも価値があります。そのような関係はお金で買うことはできません。他人のために進んで同じことをしてあげる人物になることによってのみ、手に入れることができるのです。

ロングゲーム（長期戦）

パスツールは「幸運は準備された心に味方する」と言い、ハミングはその上に自身のキャリア哲学を築きました。知識と生産性は、利息のように複利で増えていきます。日々の小さなアドバンテージは、単体で見れば些細なものに見えます。何を読み、何を記録するか、どれだけ早くループを回すか、誰と議論するか。数年も経てば、それらは周囲から「運が良い」としか見えないようなキャリアを生み出すことになります。

早い段階から複利の恩恵を受け始めましょう。未来のあなたは、今この瞬間が最もコストの低い（簡単な）時期だったと、すでに知っているはずです。

よくある質問

自分の分野で重要な問題を見つけるにはどうすればよいですか？

幅広く読むこと、特に自分の専門領域のすぐ外側にある文献を読むことです。研究成果を利用している実務家と話し、彼らの仕事で実際に何がボトルネックになっているかを尋ねてみましょう。自分を驚かせた問いのリストを作り、毎月それを見直してください。重要な問題とは、往々にして流行りの問題ではありません。解決されたときに「可能になること」を根本から変えてしまうような問題のことです。

論文を上手に読めるようになるにはどうすればよいですか？

まずアブストラクト（要旨）と結論を読み、手法を読み進める前に著者の主張を理解します。結果セクションを隠し、手法からその数値を予測してみましょう。最も正直に書かれていることが多い「限界（Limitations）」セクションを読みます。読みながら注釈をつけ、読後に短い文献ノートを書き残しましょう。目的は「消費」することではなく、主体的に「エンゲージ（関与）」することです。

読むことと実行することの比率はどれくらいが良いですか？

万能な比率はありませんが、もし2週間実験を行っていないなら、おそらくインプット過多です。逆に、その実験が「どのような問いに答えるためのものか」を言語化できないまま実験を回しているなら、インプット不足です。この2つは相互に補い合うべきです。読書が仮説を生み出し、実験がそれを検証し、その結果から得られたより鋭い問いを携えて、再び読書に戻るのです。

キャリアの初期段階でネットワークを築くにはどうすればよいですか？

有益な成果を公に発信することです。明確な解説を執筆する、ツールや再現実験の結果を共有する、他人の研究に対しておざなりな対応ではなく、具体的かつ本質的なフィードバックを届けること。ネットワークとは、「人脈作り（ネットワーキング）」そのものではなく、あなたの「仕事（アウトプット）」の周りに自然と形成されるものです。

関連する読み物: あなたの情報インプットがあなたを凡庸にする、研究ログ（リサーチログ）。関連するガイド: 研究のワークフロー、ツェッテルカステン、文献レビュー、デジタル・ガーデン、コモンプレイス・ブック、学位論文のワークフロー。