Como realmente fazer pesquisa (um guia que ninguém te dá)

Meta-descrição: Um guia prático para fazer boas pesquisas. Como escolher problemas, desenvolver gosto, aprimorar seus inputs, escrever para pensar, fechar o ciclo de feedback e encontrar as pessoas que tornam seu trabalho melhor.

Ninguém ensina você a pesquisar. Você ganha uma mesa, um problema que outra pessoa escolheu e uma instrução vaga para produzir algo inédito. Por isso, a maioria das pessoas faz engenharia reversa do trabalho a partir do que conseguem ver — que são artigos, anúncios e threads —, e o que acabam aprendendo é como parecer um pesquisador, em vez de como ser um.

A habilidade real é uma pilha de habilidades menores. Escolher problemas. Ler bem. Escrever para pensar. Executar experimentos com um ciclo rápido. Encarar seus próprios fracassos. Encontrar as pessoas certas. Quase todas elas podem ser treinadas deliberadamente, e quase nenhuma delas é ensinada em qualquer ambiente formal.

Este guia se baseia nas tradições de pesquisa de Hamming, Feynman, Shannon e Darwin, além de pensamentos mais recentes de John Schulman, Andrej Karpathy, Chris Olah e Andrew Ng. As ideias se aplicam muito além de qualquer área individual.

Escolha seus próprios problemas

Richard Hamming tinha um hábito no Bell Labs que o tornava impopular no almoço. Ele se sentava ao lado de alguém e perguntava quais eram os problemas importantes em seu campo e, em seguida, perguntava por que eles não estavam trabalhando neles. As pessoas mudavam de mesa. A pergunta dói porque a maioria dos pesquisadores não tem uma boa resposta. Eles não escolhem problemas, mas os absorvem: de um orientador, de qualquer coisa que um grande laboratório anunciou no trimestre passado ou de qualquer artigo que esteja sendo compartilhado esta semana.

O problema de um problema absorvido é que você mantém a conclusão sem o raciocínio. Você sabe que algum grupo famoso se importa com uma direção, mas não sabe o porquê, o que eles esperam encontrar ou o que os faria abandoná-la. Quando eles mudam de rumo, você descobre um ano depois. E em um problema que já está na moda, você está correndo contra uma multidão que começou mais cedo e tem mais recursos.

O guia de John Schulman para pesquisa em ML descreve dois modos. Em um, você lê a literatura e procura coisas para melhorar. No outro, você escolhe um resultado que realmente deseja que exista e raciocina de trás para frente até os experimentos. Ele defende o segundo, e a razão sutil é que isso fabrica originalidade. Um objetivo com o qual você realmente se importa o levará a um território que nenhum artigo de revisão cobre, porque a revisão foi escrita por alguém que não tinha a sua pergunta específica.

Isso se aplica muito além do ML. Um historiador que escolhe uma pergunta porque ela é importante para ele produzirá um trabalho diferente de um que escolhe a próxima lacuna óbvia na literatura existente. Um designer que começa a partir de um problema que ele próprio vivenciou encontrará coisas que uma abordagem baseada na literatura deixa passar. O fluxo de trabalho de pesquisa é o mesmo de qualquer maneira. O ponto de partida muda tudo sobre onde você vai terminar.

Desenvolva gosto

O gosto na pesquisa — a capacidade de distinguir perguntas importantes de triviais, abordagens promissoras de becos sem saída — costuma ser tratado como um dom. No entanto, ele se comporta mais como um músculo.

Claude Shannon deu uma palestra sobre pensamento criativo em 1952, onde seu primeiro passo foi encolher um problema até que ele se tornasse quase trivial, resolver a versão pequena e depois reintroduzir a dificuldade, uma parte de cada vez. Essa única técnica o levará a superar mais barreiras do que qualquer conselho moderno de produtividade.

Algumas práticas que desenvolvem o gosto ao longo do tempo: preveja o resultado de cada experimento antes de executá-lo. Cubra a seção de resultados de um artigo e adivinhe os números apenas com base no método. Anote quais dos lançamentos deste mês serão importantes daqui a dois anos e verifique sua taxa de acerto mais tarde. Uma previsão mais uma correção, repetida algumas centenas de vezes, é como todo bom modelo é treinado, incluindo o que está na sua cabeça.

Aprimore seus inputs

Listas de leitura compartilhadas produzem ideias compartilhadas. Se a sua dieta de informação for a página de tendências de um servidor de preprints mais o que quer que sobreviva ao filtro do chat do grupo, você chegará consistentemente às mesmas conclusões que todos os outros, ao mesmo tempo, o que torna essas conclusões valendo aproximadamente nada.

O material antigo está absurdamente subvalorizado. A maioria dos campos repete sua própria história com um atraso. Rich Sutton precisou de cerca de mil palavras em 2019 para escrever "The Bitter Lesson" (A Lição Amarga), e ela prevê o formato do campo de IA melhor do que pesquisas com dez vezes o seu tamanho. A palestra de pensamento criativo de Shannon de 1952 ainda é mais útil do que a maioria dos conselhos contemporâneos sobre o tema. A tradição do livro de commonplace existe precisamente porque as melhores ideias de leituras antigas se somam ao longo dos anos de maneiras que o artigo que é tendência esta semana nunca conseguirá.

A variedade importa tanto quanto a profundidade. A interpretabilidade pega emprestado da neurociência. O design de avaliação é o design de mecanismos vestindo um jaleco de laboratório. Uma compreensão prática de como o hardware realmente move os dados diz a você quais artigos de arquitetura estão condenados antes mesmo de os benchmarks chegarem. Os pesquisadores que produzem os trabalhos mais interessantes tendem a ler de forma mais ampla do que seus pares, não apenas mais profundamente.

E leia o próprio artigo, não a thread que o resume. O apêndice é onde os segredos estão guardados, e a seção de limitações geralmente é o parágrafo mais honesto do documento. Fazer anotações enquanto lê força você a se envolver com os argumentos reais em vez de absorver a interpretação de outra pessoa sobre eles.

Escreva tudo

Paul Graham aponta que uma ideia pode parecer totalmente formada até o momento em que você tenta colocá-la em palavras. A página encontra lacunas que a sua mente ignora: aquela premissa que você nunca testou, o passo que na verdade não faz sentido lógico, as duas afirmações que discretamente se contradizem.

A regra de Feynman era que a primeira pessoa que você deve evitar enganar é a si mesmo, porque você é o alvo mais fácil. Escrever é a defesa mais barata contra o autoengano já inventada. Darwin foi além e transformou isso em processo: qualquer fato que contrariasse sua teoria era anotado na hora, porque ele percebeu que sua própria memória apagava evidências inconvenientes mais rápido do que as convenientes. Sua memória faz a mesma coisa com seus experimentos fracassados.

Mantenha um registro de pesquisa: hipótese, configuração, expectativa, resultado, crença atualizada. Reler as anotações do mês passado é uma lição de humildade que nenhum revisor de artigos consegue igualar. O registro também se acumula: seis meses de pensamento documentado é um recurso no qual você pode pesquisar, identificar padrões e construir em cima. Uma memória de seis meses do que você acha que se lembra é não confiável e só piora.

Um sistema de notas com busca semântica significa que seu registro de pesquisa continua encontrável pelo significado, em vez de depender das convenções de arquivamento que você pode ou não ter seguido quando escreveu. "Aquele experimento onde testei a hipótese da taxa de aprendizado" encontra a entrada mesmo se você a registrou sob o nome de um projeto diferente.

Publique um pouco disso

O ensaio de Chris Olah e Shan Carter sobre dívida de pesquisa defende que os campos de estudo ficam sufocados com ideias não digeridas, e que uma explicação clara é uma contribuição por si só, e não apenas um trabalho de suporte. Muitas pessoas que trabalham com interpretabilidade hoje encontraram a área por meio de posts legíveis em blogs, e não de artigos de conferências.

Um conjunto de textos públicos também funciona como a credencial mais forte que você pode ter, porque é uma amostra impossível de falsificar de como você pensa. Um jardim digital ou um blog que acumula seus pensamentos ao longo dos meses dá a potenciais colaboradores e empregadores uma janela para a sua mente que um currículo jamais conseguiria.

Lance suas ideias semi-formadas em público também, porque estar errado nas redes sociais é muito mais barato do que estar errado em um artigo publicado. E o colaborador que diz que uma ideia é ruim antes de você investir três meses nela vale mais do que qualquer quantidade de processamento computacional.

Feche o ciclo mais rápido

As histórias sobre os pesquisadores mais produtivos raramente envolvem um único golpe de gênio. Elas envolvem volume: mais experimentos por dia, mais ideias erradas descartadas por semana, um modelo de realidade que se atualiza mais rápido do que o de qualquer outra pessoa. A velocidade da pesquisa é, na maior parte, a velocidade com que você descobre que está errado.

O que torna suas ferramentas uma atividade de pesquisa de primeira classe. Lançar um experimento deve ser um único comando. Plotar os resultados deve ser outro. Todo experimento deve ser reproduzível a partir de sua configuração, e comparar duas execuções deve levar segundos, não uma tarde de arqueologia. Reduza tudo até que seja barato, faça dar certo em pequena escala e só depois gaste os recursos.

E abandone a ideia de que a engenharia é a parte secundária. Na fronteira da maioria dos campos, as duas funções se fundiram. O pesquisador que consegue construir a estrutura de testes, a avaliação e o pipeline de dados é aquele cujas hipóteses realmente são testadas. Todos os outros ficam esperando na fila.

O mesmo princípio se aplica à sua infraestrutura de informação. Se encontrar uma fonte que você leu há três meses leva vinte minutos procurando em pastas, seu ciclo está lento demais. Se suas notas de pesquisa vivem em cinco aplicativos diferentes, você está adicionando atrito a cada etapa de síntese. Consolidar seus materiais de pesquisa em uma única biblioteca pesquisável é o equivalente informacional de escrever uma boa estrutura de testes: torna tudo o que vem depois mais rápido.

Encare os resultados

Uma curva de perda em declínio não é uma análise. É um conforto. Seus experimentos geram muito mais informações do que você consome: transcrições, casos de falha, o comportamento estranho nas caudas da distribuição. A maior parte disso morre sem ser lida em uma pasta de logs.

Andrew Ng ensina o mesmo movimento pouco glamoroso há mais de uma década porque nada o supera: pegue cem falhas, leia todas elas, organize-as em pilhas e ataque a maior pilha. Funciona em modelos e funciona em avaliações, onde um benchmark do qual você nunca leu as transcrições é um benchmark que você realmente não entende.

Uma única transcrição de algo dando muito errado ensinará mais a você do que a próxima casa decimal de precisão jamais ensinará. Os resultados estão falando com você. A maioria dos pesquisadores não está ouvindo porque ouvir é tedioso e a curva de perda está bem ali, caindo, parecendo encorajadora.

Encontre suas pessoas

Hamming notou um padrão em quem acabava fazendo trabalhos importantes. Colegas com as portas dos escritórios fechadas produziam mais em um determinado ano. Colegas com as portas abertas faziam o trabalho que realmente importava, porque as interrupções traziam informações sobre o que o mundo realmente precisava.

A generosidade se soma na pesquisa como em nenhum outro lugar. Replique um resultado e compartilhe o que encontrou. Disponibilize a ferramenta que você construiu para si mesmo. Explique algo difícil em linguagem simples. Os retornos chegam de forma indireta, meses depois, como uma colaboração, uma referência ou aquela vaga para a qual você nem saberia como se candidatar.

O colaborador que diz que uma ideia é ruim antes de você investir três meses nela vale mais do que poder de processamento. Essa relação não pode ser comprada. Só pode ser conquistada sendo a pessoa que faz o mesmo pelos outros.

O jogo de longo prazo

Pasteur disse que a sorte favorece a mente preparada, e Hamming construiu uma filosofia de carreira sobre isso: conhecimento e produtividade se somam como juros compostos. As vantagens diárias parecem insignificantes isoladamente. O que você lê, o que você registra, o quão rápido seu ciclo roda, com quem você debate. Dê a essas coisas alguns anos e elas produzirão carreiras que parecem sorte para quem vê de fora.

Comece a acumular esses juros antes do que parece necessário. O seu "eu" do futuro já sabe que esta era a parte barata.

Perguntas frequentes

Como encontro problemas importantes na minha área?

Leia de forma ampla, especialmente fora da sua subárea imediata. Converse com profissionais que utilizam os resultados de pesquisas e pergunte o que é realmente difícil no trabalho deles. Mantenha uma lista de perguntas que surpreendem você e revise-a mensalmente. Os problemas importantes geralmente não são os que estão na moda; são aqueles que, se resolvidos, mudariam o que é possível realizar.

Como faço para melhorar na leitura de artigos científicos?

Leia o resumo e a conclusão primeiro para entender a afirmação antes de ler o método. Cubra os resultados e tente prevê-los com base no método. Leia a seção de limitações, que geralmente é a parte mais honesta. Faça anotações conforme lê e escreva uma breve nota sobre a literatura depois. O objetivo é o engajamento ativo, não o consumo passivo.

Quanto tempo devo passar lendo versus fazendo?

Não existe uma proporção universal, mas se você não executa um experimento há duas semanas, provavelmente está lendo demais. Se está executando experimentos sem conseguir articular qual pergunta eles respondem, provavelmente não está lendo o suficiente. As duas coisas devem se alimentar mutuamente: a leitura gera hipóteses, os experimentos as testam e os resultados mandam você de volta para a leitura com perguntas mais afiadas.

Como construo uma rede de contatos sendo um pesquisador em início de carreira?

Produzindo trabalho público útil. Escreva explicações claras. Compartilhe ferramentas e resultados de replicação. Enaje-se com o trabalho de outras pessoas de forma específica e substantiva, em vez de genérica. A rede de contatos se forma em torno do trabalho, não do ato de fazer "networking".

Leitura recomendada: Sua dieta de informação está tornando você comum, O diário de pesquisa. Guias relacionados: Fluxo de trabalho de pesquisa, Zettelkasten, Revisão de literatura, Jardim digital, Livro de commonplace, Fluxo de trabalho de tese.