Cómo hacer investigación de verdad (una guía que nadie te da)

Meta description: Una guía práctica para investigar bien. Cómo elegir problemas, desarrollar el criterio, mejorar tus fuentes de información, escribir para pensar, acelerar el bucle de retroalimentación y encontrar a las personas que hacen que tu trabajo sea mejor.

Nadie te enseña a investigar. Te dan un escritorio, un problema que otro eligió y una instrucción vaga de producir algo novedoso. Así que la mayoría de la gente hace ingeniería inversa del trabajo a partir de lo que puede ver, que son artículos, anuncios e hilos de discusión, y lo que terminan aprendiendo es a parecer investigadores en lugar de serlo.

La habilidad real es un conjunto de habilidades más pequeñas. Elegir problemas. Leer bien. Escribir para pensar. Ejecutar experimentos con un bucle rápido. Observar de frente tus propios fracasos. Encontrar a las personas adecuadas. Casi cada una de estas habilidades se puede entrenar deliberadamente, y casi ninguna de ellas se enseña en un entorno formal.

Esta guía se inspira en las tradiciones de investigación de Hamming, Feynman, Shannon y Darwin, junto con ideas más recientes de John Schulman, Andrej Karpathy, Chris Olah y Andrew Ng. Las ideas se aplican mucho más allá de cualquier campo individual.

Elige tus propios problemas

Richard Hamming tenía una costumbre en Bell Labs que lo hacía impopular a la hora del almuerzo. Se sentaba al lado de alguien y le preguntaba cuáles eran los problemas importantes en su campo, y luego le preguntaba por qué no estaba trabajando en ellos. La gente cambiaba de mesa. La pregunta escuece porque la mayoría de los investigadores no tienen una buena respuesta. No eligen los problemas, sino que los absorben: de un tutor, de lo que sea que un laboratorio importante haya anunciado el trimestre pasado, o de cualquier artículo que se esté compartiendo esta semana.

El problema con un problema absorbido es que te quedas con la conclusión sin el razonamiento. Sabes que a algún grupo famoso le importa una dirección, pero no sabes por qué, qué esperan encontrar o qué haría que la abandonaran. Cuando cambian de rumbo, te enteras un año después. Y en un problema que ya está de moda, estás compitiendo con una multitud que empezó antes y tiene más recursos.

La guía de John Schulman para la investigación en aprendizaje automático describe dos modos. En uno, lees la literatura científica y buscas cosas que mejorar. En el otro, eliges un resultado que realmente quieres que exista y razonas a la inversa para diseñar los experimentos. Él aboga por el segundo método, y la razón silenciosa es que genera originalidad. Un objetivo que realmente te importa te arrastrará a un territorio que ningún artículo de revisión cubre, porque la revisión fue escrita por alguien que no tenía tu pregunta específica.

Esto se aplica mucho más allá del aprendizaje automático. Un historiador que elige una pregunta porque le importa personalmente producirá un trabajo diferente al de uno que elige el siguiente vacío obvio en la literatura existente. Un diseñador que parte de un problema que ha experimentado personalmente encontrará cosas que un enfoque basado en la literatura pasa por alto. El flujo de trabajo de investigación es el mismo en ambos casos. El punto de partida lo cambia todo sobre el lugar de destino.

Desarrolla el criterio

El criterio o «gusto» en la investigación, la capacidad de distinguir las preguntas importantes de las triviales, los enfoques prometedores de los callejones sin salida, se suele tratar como un don. Se comporta más bien como un músculo.

Claude Shannon dio una charla sobre el pensamiento creativo en 1952 donde su primer movimiento fue reducir un problema hasta que fuera casi trivial, resolver la versión pequeña y luego reintroducir la dificultad pieza por pieza. Esa sola técnica te ayudará a superar más obstáculos que cualquier consejo moderno de productividad.

Algunas prácticas que desarrollan el criterio con el tiempo: predice el resultado de cada experimento antes de ejecutarlo. Tapa la sección de resultados de un artículo e intenta adivinar los números basándote únicamente en el método. Lleva un registro de cuáles de los lanzamientos de este mes seguirán importando dentro de dos años y comprueba tu tasa de acierto más adelante. Una previsión más una corrección, repetidas unos cientos de veces, es como se entrena cualquier buen modelo, incluido el que tienes en la cabeza.

Mejora tus fuentes de información

Las listas de lectura compartidas producen ideas compartidas. Si tu dieta de información es la página de tendencias de un servidor de prepublicaciones más lo que sea que sobreviva al filtro del chat grupal, llegarás con total seguridad a las mismas conclusiones que todos los demás, al mismo tiempo, lo que hace que esas conclusiones no valgan prácticamente nada.

El material antiguo está increíblemente infravalorado. La mayoría de los campos repiten su propia historia con cierto retraso. Rich Sutton necesitó unas mil palabras en 2019 para escribir «The Bitter Lesson» (La lección amarga), y esta predice la forma del campo de la IA mejor que estudios diez veces más largos. La conferencia sobre pensamiento creativo de Shannon de 1952 sigue siendo más útil que la mayoría de los consejos contemporáneos sobre el tema. La tradición del cuaderno de notas o commonplace book existe precisamente porque las mejores ideas de las lecturas antiguas se acumulan a lo largo de los años de una forma en que el artículo de moda de esta semana nunca lo hará.

La variedad importa tanto como la profundidad. La interpretabilidad toma prestado de la neurociencia. El diseño de evaluaciones es diseño de mecanismos con bata de laboratorio. Una comprensión práctica de cómo el hardware mueve realmente los datos te dice qué artículos sobre arquitectura están condenados al fracaso antes de que lleguen las pruebas de rendimiento. Los investigadores que producen el trabajo más interesante tienden a leer de manera más amplia que sus pares, no solo con mayor profundidad.

Y lee el artículo en sí, no el hilo que lo resume. El apéndice es donde se esconden los detalles escabrosos, y la sección de limitaciones suele ser el párrafo más honesto del documento. Anotar mientras lees te obliga a comprometerte con los argumentos reales en lugar de absorber la interpretación que otra persona hace de ellos.

Escríbelo todo

Paul Graham señala que una idea puede parecer completamente formada hasta que intentas ponerla en palabras. La página encuentra vacíos que tu cabeza pasa por alto: la suposición que nunca probaste, el paso que en realidad no se deduce lógicamente, las dos afirmaciones que se contradicen discretamente entre sí.

La regla de Feynman era que la primera persona a la que debes evitar engañar es a ti mismo, porque tú eres el blanco más fácil. Escribir es la defensa más barata jamás inventada contra el autoengaño. Darwin fue más allá y lo convirtió en algo procedimental: cualquier dato que contradijera su teoría se anotaba en el acto, porque se había dado cuenta de que su propia memoria borraba las pruebas inconvenientes más rápido que las convenientes. Tu memoria hace lo mismo con tus experimentos fallidos.

Lleva un registro de investigación: hipótesis, configuración, expectativa, resultado, creencia actualizada. Releer las anotaciones del mes pasado es una lección de humildad que ningún evaluador externo puede igualar. El registro también se acumula: seis meses de pensamiento documentado es un recurso en el que puedes buscar, identificar patrones y construir. Un recuerdo de seis meses de lo que crees recordar es poco fiable y va a peor.

Un sistema de notas con búsqueda semántica hace que tu registro de investigación siga siendo localizable por su significado y no por las convenciones de archivo que hayas podido seguir o no cuando lo escribiste. «Aquel experimento en el que probé la hipótesis de la tasa de aprendizaje» encuentra la entrada incluso si la archivaste bajo un nombre de proyecto diferente.

Haz pública una parte

El ensayo de Chris Olah y Shan Carter sobre la deuda de investigación defiende que los campos científicos se asfixian con ideas no digeridas, y que una explicación clara es una contribución por derecho propio, no un simple trabajo de servicio. Muchas personas que trabajan hoy en interpretabilidad descubrieron este campo gracias a publicaciones de blog legibles, no a artículos de conferencias.

Un conjunto de escritos públicos también funciona como la credencial más sólida que puedes tener, porque es una muestra inconfundible de cómo piensas. Un jardín digital o un blog que acumule tus reflexiones a lo largo de los meses ofrece a los colaboradores y empleadores potenciales una ventana a tu mente que un currículum nunca podrá abrir.

Lanza también tus ideas a medio formar en público, porque equivocarse en una publicación en redes sociales es mucho más barato que equivocarse en una publicación impresa. Y el colaborador que te dice que una idea es mala antes de que le dediques tres meses vale más que cualquier cantidad de capacidad de cómputo.

Acelera el bucle

Las historias sobre los investigadores más productivos rara vez involucran un solo golpe de genialidad. Involucran volumen: más experimentos por día, más ideas erróneas descartadas por semana, un modelo de la realidad que se actualiza más rápido que el de cualquier otra persona. La velocidad de investigación es principalmente la velocidad a la que descubres que estás equivocado.

Lo que convierte a tus herramientas en una actividad de investigación de primer nivel. Lanzar un experimento debería requerir un solo comando. Graficar los resultados debería requerir uno más. Cada experimento debería ser reproducible a partir de su configuración, y comparar dos ejecuciones debería llevar segundos, no una tarde de arqueología. Reduce todo hasta que sea barato, hazlo bien a pequeña escala y luego gasta los recursos.

Y descarta la idea de que la ingeniería es el socio menor. En la frontera de la mayoría de los campos, los dos trabajos se han fusionado. El investigador que puede construir el entorno de pruebas, la evaluación y el flujo de datos es aquel cuyas hipótesis realmente se ponen a prueba. Todos los demás están esperando en una cola.

El mismo principio se aplica a tu infraestructura de información. Si encontrar una fuente que leíste hace tres meses te lleva veinte minutos de búsqueda en carpetas, tu bucle es demasiado lento. Si tus notas de investigación viven en cinco aplicaciones diferentes, estás añadiendo fricción a cada paso de síntesis. Consolidar tus materiales de investigación en una biblioteca donde se puedan realizar búsquedas es el equivalente informativo a escribir un buen entorno de experimentos: hace que todo lo que viene después sea más rápido.

Observa fijamente los resultados

Una curva de pérdida descendente no es un análisis. Es un alivio. Tus experimentos arrojan mucha más información de la que consumes: transcripciones, casos de fallo, el comportamiento extraño en los extremos de la distribución. La mayor parte muere sin ser leída en una carpeta de registros.

Andrew Ng ha enseñado la misma práctica poco glamurosa durante más de una década porque no hay nada mejor: extrae cien fallos, leelos todos, organízalos en grupos y ataca el grupo más grande. Funciona en modelos y funciona en evaluaciones, donde un punto de referencia (benchmark) del cual nunca has leído las transcripciones es un punto de referencia que en realidad no entiendes.

Una sola transcripción de algo que sale realmente mal te enseñará más que el siguiente decimal de precisión. Los resultados te están hablando. La mayoría de los investigadores no escuchan porque escuchar es tedioso y la curva de pérdida está ahí mismo, bajando, con aspecto alentador.

Encuentra a tu gente

Hamming notó un patrón en quiénes terminaban haciendo un trabajo importante. Los colegas con las puertas de la oficina cerradas lograban hacer más cosas en un año determinado. Los colegas con las puertas abiertas hacían el trabajo que realmente importaba, porque las interrupciones traían información sobre lo que el mundo realmente necesitaba.

La generosidad se acumula en la investigación como ninguna otra cosa. Replica un resultado y comparte lo que descubras. Publica la herramienta que construiste para ti mismo. Explica algo difícil en un lenguaje sencillo. Los beneficios llegan de forma indirecta, meses después, en forma de esa colaboración, esa referencia o ese puesto al que no habrías podido postularte por tu cuenta.

El colaborador que te dice que una idea es mala antes de que inviertas tres meses en ella vale más que el poder de cómputo. Esa relación no se puede comprar. Solo se puede ganar siendo la persona que hace lo mismo por los demás.

El juego a largo plazo

Pasteur dijo que la suerte favorece a la mente preparada, y Hamming construyó una filosofía de carrera sobre esa base: el conocimiento y la productividad se acumulan como el interés compuesto. Las ventajas diarias parecen insignificantes de forma aislada. Lo que lees, lo que registras, qué tan rápido corre tu bucle, con quién debates. Dales unos años y producirán carreras que desde fuera parecen pura suerte.

Empieza a acumular antes de lo que te parezca necesario. Tu yo del futuro ya sabe que esta era la parte barata.

Preguntas frecuentes

¿Cómo encuentro problemas importantes en mi campo?

Lee de manera amplia, especialmente fuera de tu subcampo inmediato. Habla con profesionales que utilicen los resultados de las investigaciones y pregúntales qué es lo que realmente resulta difícil en su trabajo. Mantén una lista de preguntas que te sorprendan y revísala mensualmente. Los problemas importantes no suelen ser los que están de moda; son aquellos que, si se resolvieran, cambiarían lo que es posible.

¿Cómo puedo mejorar leyendo artículos científicos?

Lee primero el resumen y la conclusión para entender la afirmación principal antes de leer el método. Tapa los resultados e intenta predecirlos a partir del método. Lee la sección de limitaciones, que suele ser la parte más honesta. Anota a medida que avanzas y escribe una breve nota bibliográfica después. El objetivo es el análisis activo, no el consumo pasivo.

¿Cuánto tiempo debería dedicar a leer en comparación con hacer?

No existe una proporción universal, pero si no has realizado un experimento en dos semanas, probablemente estés leyendo demasiado. Si estás realizando experimentos sin ser capaz de articular qué pregunta responden, probablemente no estés leyendo lo suficiente. Ambos aspectos deben retroalimentarse mutuamente: la lectura genera hipótesis, los experimentos las prueban y los resultados te devuelven a la lectura con preguntas más agudas.

¿Cómo construyo una red de contactos como investigador al inicio de mi carrera?

Produciendo un trabajo público útil. Escribe explicaciones claras. Comparte herramientas y resultados de replicación de experimentos. Conéctate con el trabajo de otras personas de manera específica y sustancial, en lugar de hacerlo de forma genérica. La red se forma alrededor del trabajo, no alrededor del acto de hacer contactos (networking).

Lecturas relacionadas: Tu dieta de información te está haciendo promedio, El registro de investigación. Guías relacionadas: Flujo de trabajo de investigación, Zettelkasten, Revisión de la literatura, Jardín digital, Cuaderno de notas (Commonplace book), Flujo de trabajo de tesis.