La ciencia no siempre es una ciencia exacta

La revista científica Surgery publicó recientemente dos artículos basados ​​en el mismo conjunto de datos, y llegaron a conclusiones diferentes, de hecho opuestas. Hay dos artículos sobre el uso de una herramienta específica para la cirugía de apendicitis: uno dice que aumenta las posibilidades de infección y el otro las reduce.

Esta breve anécdota destaca una verdad bastante obvia en el mundo científico: recopilar e interpretar datos de experimentos no siempre es un proceso sencillo o sencillo.

Primero, porque puede haber un sesgo que influya, más o menos inconscientemente, en la lectura de los datos por parte de un científico. Los investigadores utilizan todos los medios para tratar de eliminar los elementos de sesgo, por ejemplo, realizando un «doble ciego» (Procedimiento de control doble ciego): En este caso, tanto los sujetos examinados como los experimentadores ignoran alguna información básica del experimento para evitar afectar los resultados. Pero no siempre es posible implementar estas medidas.

Sobre todo, no siempre existe una forma única de leer los datos e interpretar la realidad que están contando. En los últimos meses hemos aprendido a escuchar a decenas de científicos -virólogos, sobre todo- que han descrito el panorama de la salud global, europea, italiana o de cualquier otra escala regional.

Dio la casualidad de que dos médicos tenían opiniones contradictorias, si no diametralmente opuestas: es perfectamente comprensible. El físico y escritor Paolo Giordano habló de ello durante la primera cita del Festival Extra Viva en Locorotondo: “Este año teníamos ante nuestros ojos varios estudios y modelos predictivos, pero tuvimos muchos problemas para definir qué es el modelo científico: es un escenario, la probabilidad de que lo hagan de una forma u otra. Hablamos de cosas relacionadas con la probabilidad y un cierto margen de error, y muchas veces nos olvidamos de ellas. Varias veces los escenarios han sido rechazados, en las buenas y en las malas, pero eso no significa deshacerse de los modelos. Asi es como ellos trabajan.»

En un artículo publicado hace unos días El economista Él escribe que «diferentes investigadores verán la realidad de manera diferente, equilibrarán la información disponible de manera diferente y eventualmente podrán propagar argumentos contradictorios sobre el mismo tema».

Martin Schoenesberg, psicólogo y profesor de la Escuela Europea de Gestión y Tecnología de Berlín, reunió a un equipo de 49 investigadores diferentes para publicitar su proyecto en las redes sociales. Cada uno obtuvo una copia de un conjunto de datos de 3.9 millones de palabras de texto de aproximadamente 8,000 comentarios hechos en Edge.org, un foro en línea para discutir temas científicos.

El Dr. Schoensberg pidió a todos los investigadores participantes que exploraran dos hipótesis aparentemente simples. El primero es analizar la tendencia de una mujer a participar en una conversación y evaluar si su participación aumenta con el número de otras mujeres en la misma conversación. Segundo: comprender si los participantes de alto nivel, y por lo tanto con un puesto de trabajo más prestigioso que otros, asisten más que sus contrapartes de nivel inferior.

Se pidió a los investigadores que detallaran su análisis publicando sus métodos y flujos de trabajo en un sitio web llamado DataExplained. Esto le permitió al Dr. Schwensberg ver exactamente lo que estaban haciendo.

“Al final – escribió The Economist – 37 análisis se consideraron lo suficientemente detallados como para ser incluidos en el informe final. Resulta que ningún analizador utiliza exactamente los mismos métodos y nadie obtiene los mismos resultados que los demás.

De hecho, alrededor del 64% de los estudios informan que las mujeres en realidad comparten más si hay muchas otras mujeres involucradas. Pero el 21% concluyó que lo contrario era cierto. Aún más equilibrado es el cálculo de la otra línea de análisis: el 29% de los analistas informaron que los participantes de alto nivel tienen más probabilidades de contribuir, pero el 21% dijo todo lo contrario (el resto no encontró ninguna diferencia significativa).

En este punto, es importante distinguir que estos análisis no son verdaderos o falsos, verdaderos o falsos. Estas diferencias surgieron porque los investigadores eligieron diferentes definiciones de lo que estaban estudiando y aplicaron diferentes métodos de análisis.

A la hora de determinar cuánto hablan las mujeres, por ejemplo, algunos analistas han tenido en cuenta el recuento de palabras en el comentario de cada mujer; Otros eligieron el número de personajes; Otros cuentan la cantidad de conversaciones en las que participó la mujer, independientemente de lo que realmente escribió.

Asimismo, el estatus académico se determinó por el puesto de trabajo, el número de citas que recopiló el investigador o el índice H, o «índice h», un criterio para medir la reproducibilidad y el impacto académico de un autor, basado en el número de publicaciones y el número de citas recibidas.

Por lo tanto, las técnicas estadísticas seleccionadas también jugaron un papel. «La verdad, en otras palabras – concluye The Economist – puede ser un cliente difícil de alcanzar, incluso para preguntas aparentemente simples. La primera conclusión que podemos sacar es que el camino seguido es de fundamental importancia. El Dr. Schwensberg espera que plataformas como DataExplained ayuden resolver el problema del desajuste. Los hallazgos, además de revelarlos, al permitir que los científicos decidan exactamente cómo eligen realizar su análisis y permitir que otros revisen esas decisiones. Puede que no sea práctico verificar y revisar cada resultado nuevamente. Pero si es diferente Los métodos analíticos llegan a la misma conclusión, los científicos sabrán que están en el camino correcto.