El problema de usar muestras incompletas en los estudios científicos que acabas leyendo en los medios

El problema de usar muestras incompletas en los estudios científicos que acabas leyendo en los medios

La pasada semana se publicó un estudio con resultados muy interesantes. Decía que hacer ejercicio antes de desayunar quemaba el doble de grasa corporal que hacerlo en otro momento del día. Pero con un matiz importante: el resultado es provisional. Y puede ser que, cuando continúe el estudio, la imagen que ofrezca sea muy distinta.

La razón es sencilla, y tiene que ver con el tamaño de la muestra. Volviendo al caso concreto del artículo que hemos citado: en él participaron treinta personas. Una cantidad insuficiente para llegar a conclusiones definitivas.

[Te puede interesar: Tal vez la industria del azúcar no mintiese sobre los peligros de las grasas]

Entonces, ¿es mala ciencia la que se ha hecho? No realmente. Simplemente se trata de resultados provisionales, que indican una tendencia. Pero si no hay más trabajo detrás, se quedan en eso: sospechas, tendencias, posibilidades. Pero no hallazgos completos.

En estadística – simplificando mucho la explicación, porque los diseños y análisis pueden ser muy complejos – se dan dos tipos de error: los falsos positivos (error tipo I o α) y los falsos negativos, de tipo II o β. Si queremos hacer que uno disminuya, el otro crece de manera inevitable – por cuestiones matemáticas en las que no merece la pena meterse. Y la relación entre ambos tipos de error tiene que ver con cómo sea de diversa la población– del valor de desviación o dispersión de los datos.

Bueno, en realidad es evitable. Basta con aumentar el tamaño de la muestra: coger más datos, realizar más experimentos. De esta manera podemos dejar fijo el valor α – que es en el que se fijan para publicar – y disminuir los falsos negativos.

Por desgracia, la potencia estadística no se suele publicar. Mientras que los valores de error de tipo I suelen estar a la vista de todos – si un resultado es fiable al 90%, 95% o 99%, que son los más comunes – el error de tipo II o la potencia no se suele publicar.

[Te puede interesar: Explicando las razones tras el estudio que asegura que los dueños de los perros viven más]

Y por eso en muchas ocasiones, cuando trasladamos las conclusiones de los artículos científicos a los medios nos centramos en estudios con resultados parciales. Pero no los explicamos así, y esto es un fallo que deberíamos corregir – y yo el primero.

Porque aunque no se publique la potencia estadística, hay pistas que nos permiten deducirlo. Por poner dos ejemplos: si un estudio se basa cómo afecta un factor a deportistas de élite que practican disciplinas de resistencia, la población va a ser necesariamente menor y casi con seguridad menos diversa que si hablamos de gente que va al gimnasio, desayunen antes o después.

Si nos encontramos con un estudio con treinta muestras, treinta pacientes, su potencia será suficiente si viene del primer grupo de estudios, y muy escasa en el segundo caso. Encontrar a más de treinta personas que vayan al gimnasio y estén dispuestas a participar en un estudio no debería ser complicado ni especialmente caro.

Todo esto no quiere decir que se haga mala ciencia. Los resultados de los estudios científicos – si se publican en revistas que sigan el método científico – son válidos. Pero pueden ser, y de hecho son en muchas ocasiones, resultados preliminares.

Simplemente, hay que ser capaz de leer estas noticias con un nivel de conciencia crítica que nos permita intuir la potencia estadística, y darle la fiabilidad que deba tener.

Nuestro objetivo es crear un lugar seguro y atractivo para que los usuarios puedan establecer conexiones en función de sus intereses y pasiones. A fin de mejorar la experiencia de nuestra comunidad, hemos suspendido los comentarios en artículos temporalmente