O diário de pesquisa: por que a sua memória está mentindo para você

O problema da honestidade

Existe um tipo específico de desonestidade ao qual pesquisadores, trabalhadores do conhecimento e qualquer pessoa que trabalhe com ideias estão vulneráveis. Não é o tipo que envolve fabricar dados ou deturpar resultados. É mais silencioso do que isso. É a maneira como sua memória preserva seletivamente as coisas que deram certo e descarta discretamente as que não deram.

Você realiza um experimento. Não funciona. Você ajusta sua hipótese, executa outra versão e, desta vez, funciona. Um mês depois, quando você está escrevendo os resultados ou explicando sua abordagem para alguém, a versão que falhou já se desvaneceu. Não desapareceu completamente, mas suas arestas suavizaram. Você se lembra de que tentou algo que não funcionou, mas os detalhes se foram: o que exatamente você esperava, por que esperava, qual foi o resultado real e o que ele lhe disse sobre suas suposições.

Feynman colocou isso de forma simples: a primeira pessoa que você deve evitar enganar é você mesmo, porque você é o alvo mais fácil. Seu cérebro é extremamente bom em construir uma narrativa que faz com que suas crenças atuais pareçam as que sempre foram óbvias, suavizando as curvas, becos sem saída e surpresas que realmente caracterizaram o trabalho.

Um diário de pesquisa é a defesa mais barata contra isso.

O que Darwin entendeu

A abordagem de Darwin para esse problema era processual e deliberada. Ele tinha uma regra: qualquer fato ou observação que contradissesse sua teoria precisava ser anotado imediatamente, porque ele havia percebido que sua memória apagava evidências inconvenientes mais rápido do que as convenientes.

Isso não era uma técnica de produtividade. Era uma técnica epistêmica. Darwin entendeu que seu próprio sistema cognitivo era tendencioso a preservar crenças consistentes e descartar as inconsistentes, e ele projetou uma solução física alternativa. O caderno era mais confiável do que seu cérebro, especificamente para as informações que seu cérebro mais queria perder.

O mesmo viés está operando no seu trabalho agora. Os experimentos que confirmaram sua hipótese estão claros na sua memória. Os que não confirmaram já estão desaparecendo. Aquilo em que você estava errado no mês passado foi sutilmente reescrito em algo sobre o qual você estava "mais ou menos certo". A suposição que você nunca testou tornou-se, na sua memória, uma suposição que você testou e confirmou.

Escrever tudo na hora, antes que sua memória tenha a chance de editar, é a única solução confiável.

O formato

Um diário de pesquisa não precisa ser complicado. Para cada trabalho que valha a pena documentar, registre cinco coisas:

Hipótese. Em que você acredita antes de começar? Declare isso explicitamente, mesmo que pareça óbvio. O objetivo de escrever é criar um registro que você não possa ajustar retroativamente.

Configuração. O que você está fazendo para testar isso? O método, a abordagem, as ferramentas, os dados. Detalhes suficientes para que você possa reproduzi-lo, ou pelo menos entender o que fez ao ler esta entrada daqui a seis meses.

Expectativa. O que você acha que vai acontecer? Isso é diferente da hipótese. A hipótese é a crença; a expectativa é o resultado previsto. "Acredito que X é verdadeiro, por isso espero que o resultado mostre Y." Escrever isso é onde reside a verdadeira disciplina, porque força você a fazer uma previsão concreta que pode ser verificada em relação à realidade.

Resultado. O que realmente aconteceu? Não a sua interpretação do que aconteceu. O resultado bruto. Os números, a observação, o desfecho. Deixe a interpretação para a próxima etapa.

Crença atualizada. Diante do resultado, o que você pensa agora? A hipótese sobreviveu? Foi enfraquecida? Estava errada? O que você fará a seguir?

Este ciclo — previsão seguida de observação, seguida de atualização — é o ciclo fundamental do aprendizado com a experiência. Sem o registro escrito, o ciclo é corrompido: sua memória suaviza a previsão para corresponder ao resultado, e você aprende menos do que deveria com cada iteração.

Por que as expectativas são o mais importante

A etapa de expectativa é a que a maioria das pessoas pula, e é a que mais importa.

Quando você prevê um resultado antes de vê-lo, cria um registro testável do seu entendimento. Se a previsão estiver correta, você confirmou algo. Se estiver errada, a lacuna entre a previsão e o resultado é onde o aprendizado realmente acontece. Essa lacuna lhe diz o que está faltando no seu modelo da situação.

Sem uma expectativa registrada, todo resultado é confirmatório. Você vê o resultado e pensa "sim, isso faz sentido". É claro que faz sentido, você está explicando depois do fato, e seu cérebro é muito bom em explicar as coisas depois que acontecem. A questão não é se o resultado faz sentido retrospectivamente. É se você o previu com antecedência.

Este é o mesmo princípio por trás do treinamento de calibração: preveja o resultado, verifique o resultado, ajuste. Repetido centenas de vezes, isso constrói uma compreensão real em vez da ilusão de compreensão. Cubra a seção de resultados de um artigo científico e adivinhe os números a partir do método. Preveja o que seu experimento mostrará antes de olhar os dados. Preveja quais dos lançamentos deste mês serão importantes daqui a dois anos e verifique sua taxa de acerto mais tarde.

O diário é onde tudo isso reside, e o diário é o que torna isso cumulativo em vez de esquecível.

O diário como ferramenta de pensamento

Paul Graham argumenta que uma ideia pode parecer totalmente formada até o momento em que você tenta colocá-la em palavras. A página encontra lacunas que sua mente ignora: a suposição que você nunca testou, o passo lógico que não faz sentido, as duas afirmações que discretamente se contradizem.

Um diário de pesquisa faz isso continuamente. Quando você se senta para escrever uma entrada, precisa articular o que está fazendo e o porquê. E, nessa articulação, muitas vezes descobre que na verdade não sabe as coisas tão claramente quanto pensava. A hipótese que você achava que estava nítida revela-se vaga. A configuração tem uma variável não controlada que você não havia notado. A expectativa contradiz algo que você escreveu duas semanas atrás.

Essas descobertas são desconfortáveis, mas são exatamente as que evitam que você perca tempo com um trabalho construído sobre bases falhas. É melhor encontrar a falha no seu raciocínio ao escrever uma entrada no diário do que ao redigir o artigo final.

Reler entradas anteriores potencializa isso. Seu diário de um mês atrás contém o pensamento de uma pessoa que estava errada sobre coisas que você agora sabe. Ver exatamente como e onde ela estava errada (sendo ela você mesmo) é humilhante e educativo de uma forma que nenhum feedback externo consegue igualar. Você consegue ver o momento em que seu raciocínio saiu dos trilhos, a suposição que o levou pelo caminho errado, o resultado ao qual você deveria ter prestado mais atenção.

Diário privado, escrita pública

O diário de pesquisa é privado. É rascunhado, honesto, cheio de previsões erradas e hipóteses abandonadas. Isso faz parte do seu valor: você precisa de um lugar onde estar errado não traga nenhum custo social, porque o receio de parecer tolo é uma das principais coisas que impede uma documentação honesta.

Mas há um argumento diferente para expor parte do seu pensamento ao público, e Chris Olah e Shan Carter defendem isso muito bem. O ensaio deles sobre dívida de pesquisa argumenta que as áreas acumulam ideias não digeridas mais rápido do que os indivíduos conseguem processá-las, e que uma explicação clara de um conceito difícil é uma contribuição por si só, e não apenas um trabalho de suporte.

Um jardim digital ou um blog que acumula seu pensamento ao longo do tempo serve a um propósito diferente do diário privado. O diário serve para a honestidade. A escrita pública serve para a clareza, para a contribuição e para o fato surpreendente de que explicar algo para os outros é uma das maneiras mais confiáveis de aprofundar seu próprio entendimento sobre o assunto.

A escrita pública também é a credencial mais forte que não pode ser falsificada. Um conjunto de trabalhos que mostra como você pensa, no que está interessado e como seu entendimento evoluiu ao longo do tempo diz mais a potenciais colaboradores e empregadores do que qualquer currículo. É um livro de anotações comum voltado para o mundo.

Onde fica o diário

O diário precisa estar em algum lugar que você realmente vá usar diariamente e onde possa pesquisá-lo mais tarde.

No Fabric, uma nota datada para as entradas de pesquisa de cada dia, pesquisável por significado em vez de data ou pasta, significa que você pode encontrar "o experimento em que testei a hipótese do tamanho do lote" sem precisar lembrar quando o executou ou como chamou o arquivo. Notas de voz funcionam para entradas rápidas quando você está na bancada ou no quadro branco e não quer digitar. O assistente de IA pode sintetizar informações de todo o seu diário: "O que aprendi sobre X no último mês?" gera uma resposta fundamentada no seu próprio pensamento documentado.

O formato importa menos do que a consistência. Um arquivo de texto simples atualizado diariamente é melhor do que um sistema elaborado usado uma vez por semana. O hábito é a parte difícil. As ferramentas devem tornar o hábito o mais livre de atrito possível.

O efeito cumulativo

Um diário de pesquisa do seu primeiro mês é levemente útil. Um diário de pesquisa que abrange um ano é um recurso que muda a forma como você trabalha.

Depois de um ano, você tem um registro pesquisável de várias centenas de hipóteses, expectativas, resultados e crenças atualizadas. Você consegue ver padrões no seu próprio raciocínio que são invisíveis no momento: os tipos de suposições que você erra constantemente, as abordagens experimentais que produzem resultados úteis de forma confiável, as perguntas que continuam ressurgindo sob diferentes ângulos.

A observação de Hamming de que o conhecimento e a produtividade se acumulam como juros se aplica diretamente aqui. As entradas diárias parecem triviais isoladamente. O que você previu, o que descobriu, o que aprendeu. Dê a elas um ano e elas produzirão uma profundidade de autoconhecimento sobre seu próprio processo de pesquisa que a maioria das pessoas nunca desenvolve, porque a maioria das pessoas não escreve o suficiente para notar os padrões.

O diário também é uma proteção contra a suavização narrativa que faz com que pesquisadores experientes sejam menos precisos do que pensam. Quanto mais longa for a sua carreira, mais tempo sua memória teve para reescrever as coisas. O diário não reescreve. Ele apenas fica ali, registrando pacientemente o que realmente aconteceu, disponível sempre que você precisar verificar sua história em relação aos fatos.

Perguntas frequentes

Qual deve ser o tamanho de cada entrada do diário?

De algumas sentenças a um parágrafo por experimento ou parte do trabalho. O formato em cinco partes (hipótese, configuração, expectativa, resultado, crença atualizada) pode ser concluído em cinco minutos. Entradas mais longas para resultados significativos ou mudanças importantes de direção valem o tempo, mas o padrão deve ser breve. A consistência importa mais do que a profundidade.

E se meu trabalho não for experimental?

O formato se adapta. Se você estiver fazendo um trabalho teórico, documente seu raciocínio: o que está tentando provar, por que acha que essa abordagem funcionará, qual espera que seja o resultado. Se estiver fazendo pesquisa qualitativa, registre suas hipóteses interpretativas: o que espera encontrar nos dados, o que realmente encontra, como sua interpretação muda. O ciclo previsão-observação-atualização se aplica a qualquer tipo de pensamento, não apenas a experimentos quantitativos.

Devo registrar resultados negativos?

Especialmente os resultados negativos. Esses são exatamente os resultados que sua memória está mais inclinada a suavizar ou esquecer. Um resultado negativo documentado diz a você o que não funciona e o porquê, o que geralmente é mais valioso para trabalhos subsequentes do que um resultado positivo que apenas confirma o que você já acreditava.

Como um diário de pesquisa difere de um caderno de laboratório?

Um caderno de laboratório tradicional documenta o que você fez, com detalhes suficientes para reprodutibilidade. Um diário de pesquisa, como descrito aqui, adiciona as etapas de expectativa e crença atualizada, que transformam o caderno de um registro de ações em um registro de pensamento. O caderno de laboratório pergunta "o que aconteceu?". O diário de pesquisa pergunta "o que eu esperava, o que aconteceu e o que aprendi?".

Posso usar essa abordagem fora da pesquisa?

Sim. O ciclo previsão-resultado-atualização é útil para qualquer trabalho em que você esteja tomando decisões sob incerteza: desenvolvimento de produtos, investimentos, contratações, estratégia. Documentar seu raciocínio antes de ver o resultado e depois comparar é a maneira mais rápida de calibrar seu julgamento em qualquer área.

Leitura recomendada: Como realmente fazer pesquisa, Sua dieta de informação está tornando você comum. Guias relacionados: Fluxo de trabalho de pesquisa, Fundamentos de tomada de notas, Zettelkasten, Notas perenes, Método Cornell, Jardim digital.