Hay estudios científicos que demuestran que…

Lo que viene a continuación es un hilo que publiqué el pasado 29 de agosto de 2018 a la 1:38 en Twitter. Una cadena de 60 tuits, mensajes cortos que deberían tener sentido por sí solos pero que encadenados constituyen un ensayo más completo.

Una fórmula que puede gustar o no pero que, hasta ahora mismo, ha sido retuiteado 528 veces y recibido 935 “me gusta”… y, tras su publicación, mi número de seguidores ha crecido en +100.

Jose M. López Nicolás (Scientia) me decía que ya que tenía un blog bien chulo, que lo escribiera aquí, y puesto que este blog existe en gran parte por él, le tengo que hacer caso… así que ahí va:

Tuit 1: “Hay estudios científicos que demuestran que…” Socorrida frase que sirve para justificar cualquier argumentación pero, ¿toda la evidencia científica tiene la misma relevancia? No. Algo que deberían explicar en los colegios. Allá voy con un #Megahilo 😓 de 60 tuits… 👇

Tuit 2: El objetivo es mostrar que no toda la evidencia científica tiene el mismo peso o relevancia. Para ello, es importante conocer el proceso de publicación de un artículo científico y así valorar convenientemente el esfuerzo que supone.

Tuit 3: Mis padres 👨‍🎓👩‍🎓 decían que para “hacer Ciencia” y poder hablar con autoridad científica había que estudiar “hasta el final”: primaria, secundaria, bachillerato, prueba de acceso a la universidad, licenciatura, cursos de doctorado, tesis doctoral… 👨‍🔬👩‍🔬

Tuit 4: Harán falta ingentes dosis de espíritu crítico y no menos de altruismo para poder hacer, entender o criticar científicamente. Lo siento, no, no todo el mundo está preparado o capacitado.

Tuit 5: El objetivo de todo el proceso de formación será conseguir dinero para investigar, pedir un proyecto de investigación 👨‍💻👩‍💻, preferiblemente en una convocatoria pública…

Tuit 6: …en la que otr@s científic@s evaluarán el proyecto y tu CV cual manada de hienas dispuestas a abrir en canal cualquier error de diseño, defecto de forma u objetivo inadecuado. Hay mucha demanda y pocos fondos tras años de recortes en I+D.

Tuit 7: Suponiendo que todo haya ido bien, tras no menos de 25-30 años de dedicación y formación, en general tras un largo periodo precario y mal pagado, un/a científic@ podrá pedir/obtener un proyecto o de publicar sus primeros resultados… 🤗🤗

Tuit 8: … que no valdrán para nada hasta que no estén publicados en una revista científica (de verdad).

Tuit 9: No, una revista científica no es Quo o Muy Interesante. Son revistas a las que, en general, sólo tienen acceso los científicos y, salvo algunas “generalistas”, son muy específicas.

Tuit 10: Interesará publicar los resultados en forma de artículo/paper en aquellas revistas más relevantes. Esa relevancia es el fruto de muchos factores pero, en general, el más importante será el determinado por el “factor de impacto”.

Tuit 11: El factor de impacto de una revista viene dado por el número de citas, en promedio, que recibe cada una de sus publicaciones. Los científicos construímos a partir de los resultados de otr@s investigador@s 👨‍🔬👩‍🔬 de ahí que citemos a quien nos inspira.

Tuit 12: En Ciencia es fundamental reconocer el trabajo de otr@s y esto se hace “citando” sus trabajos: indicamos de donde hemos tomado la idea o el resultado, cada frase de un artículo debe ir bien fundamentada, y ese trabajo citado “se apunta” una cita.

Tuit 13: Cuanto mayor sea el número de citas recibido, mayor será la relevancia de ese estudio, de su autor💆‍♂️💆‍♀️ y de la revista que lo publicó.

Tuit 14: Es un modelo cuestionable, pero que más o menos funciona con sus fallos y condicionantes. Aquellas revistas más relevantes, con mayor factor de impacto en una determinada categoría o temática, serán las más atractivas para l@s investigador@s.

Tuit 15: Así que el objetivo será publicar nuestro trabajo en esas revistas “Q1” donde, a su vez, será más difícil publicar, pues querrán publicar trabajos relevantes para no ver afectado negativamente su factor de impacto con posibles trabajos que no consigan citas en el futuro.

Tuit 16: Esa ingenua frase tiene mucha miga sobre qué se publica y qué se investiga, pero no es el momento.

Tuit 17: Q1 quiere decir “primer cuartil”. Hay diferentes índices de referencia que clasifican revistas. El más importante y utilizado es el Journal Citation Reports (JCR) de Thomson Reuters, hoy de Clarivate Analytics. Sí, ya sé que hay otros… pero en Ciencia, éste.

Tuit 18: Las condiciones para que una revista entre en JCR son importantes. Simplificaré mucho y dejo el posible debate para otro momento, pero lo básico es que sean de calidad, garanticen la objetividad y la calidad de los trabajos que publican.

Tuit 19: JCR y el portal “Web of Science” indexan más de 8000 revistas clasificadas en áreas de conocimiento o categorías. Dentro de cada categoría, las revistas se ordenan por factor de impacto. Así, las primeras serán las más relevantes.

Tuit 20: Si tenemos 100 revistas en una categoría, las 25 primeras estarán en el primer cuartil (Q1), las siguientes 25 estarán en el cuartil 2 (Q2)… si hay 258 revistas en una categoría, el primer cuartil estará constituido por las primeras 64 revistas.

Tuit 21: Primer resumen: para investigar hace falta mucha DEDICACIÓN y, sobre todo, FORMACIÓN. Tras conseguir un proyecto y obtener resultados, el objetivo será publicar… ¿dónde? En un revista relevante con alto factor de impacto.

Tuit 22: Imagina que ya hemos elegido una revista acorde con la calidad de nuestros resultados (asumimos que son excelentes, innovadores, relevantes). Escribimos nuestro artículo siguiendo unas normas bastante rigurosas ¡ah y generalmente en inglés! y lo enviamos 🤞🤞🤞

Tuit 23: El artículo será recibido por un editor, que es científic@ reconocid@ 👨‍🔬👩‍🔬 en la materia, quien leerá el trabajo y tomará una primera decisión: si no percibe calidad, relevancia o que el tema no concuerda con la temática de la revista, lo rechazará 💩💩👨‍.

Tuit 24: Se me ha olvidado decir que, aunque hay revistas que viven de las publicaciones y pertenecen a editoriales privadas, muchas son publicaciones de sociedades científicas sin ánimo de lucro. Sólo cobran en determinadas circunstancias.

Tuit 25: También se me ha olvidado decir que adecuar el artículo o seguir el proceso de publicación del trabajo puede ser una tarea tediosa y compleja 👩‍💻👨‍💻. Si el editor encuentra errores formales en nuestro envío ¡no lo publicará!

Tuit 26: Aquellas revistas más relevantes, las científicas más influyentes y todas las del JCR, siguen un proceso de “revisión por pares” o “peer review”. Veamos en qué consiste y por qué es tan importante.

Tuit 27: Si el editor considera que nuestro trabajo tiene potencial, lo enviará a 2 o 3 👤👤👤, a veces más, científic@s expert@s en el tema quienes, de forma anónima, revisarán el trabajo, ¡hasta la última coma!

Tuit 28: Una vez revisado, l@s “referees” envían sus comentarios al editor quien, dependiendo de las revisiones, decidirá si el “paper” se acepta sin más (no es normal), requiere revisiones menores o mayores o, directamente, se rechaza 💩💩.

Tuit 29: Este proceso puede llevar de 3 a 6 meses o más. Yo tengo 2 artículos “under review” desde julio… Cuando el editor reciba las revisiones, si no lo rechaza, nonoslos enviará los comentarios que deberán recibir respuesta, a veces con nuevo trabajo experimental 💩💩💩.

Tuit 30: Una vez revisado, contestando punto por punto a cada revisor 👨‍💻👩‍💻, el trabajo se vuelve a enviar al editor, quien puede rechazarlo aunque, generalmente, pedirá opinión a los revisores.

Tuit 31: Suponiendo que todo está correcto, a veces piden una segunda revisión o más “referees”, el trabajo será aceptado🕺💃🕺 y publicado💃🕺💃

Tuit 32: En ese momento podremos hablar de nuestro Estudio Científico. Antes no, sin ser publicado tras ese proceso, no tendrá validez alguna, aunque La Vanguardia lo saque en contraportada… Al fin, tras años de esfuerzo y dedicación, tu trabajo y esfuerzo produce resultados ✊✊✊

Tuit 33: Y es, en ese momento, donde comienza la verdadera valoración de nuestro trabajo. Si la idea fue realmente buena y los resultados son innovadores, inspirarán a otr@s científic@s y será citado 💆‍♂️💆‍♀️. Será, entonces, cuando cobre relevancia 💎💎💎

Tuit 34: Entenderá el lector que la frase “Hay estudios científicos que demuestran que…” en Ciencia sin una cita, sin indicar año, autores o revista, no tenga ninguna importancia y si la gente (los periodistas son gente) supieran lo que hay detrás, serían cuidadosos a la hora de utilizarla.

Tuit 35: Es, cuando un científico la usa sin cuidado y sin tener en cuenta lo comentado anteriormente, cuando su uso es extremadamente peligroso 🤬🤬. Que un científico, que por el hecho de serlo no significa que sea serio o riguroso, la use, dice mucho de su clase 🤪.

Tuit 36: Estoy cansado de escuchar a ciertos movimientos antiantenas hablar de “estudios que demuestran que” sin saber hacer esa lectora crítica o análisis de la fuente, de su calidad.

Tuit 37: O peor, y me cuesta comprenderlo, a “científicos” que usan esa frase sin proporcionar las citas, una lectura crítica o un análisis serio de su relevancia, para justificar sus creencias sin esa base científica seria y necesaria. ¡Se supone que son científicos!

Tuit 38: Esa condición de científic@ se debería perder al aparecer en colaboraciones con DSalud, MindalaTV o EcoPortal…

Tuit 39: Sigamos. ¿Entonces para saber si un trabajo es serio debemos mirar en qué revista se ha publicado? Bueno, es un primer paso.

Tuit 40: Al menos hará falta una lectura atenta y crítica, para lo cual, hay que estar preparado (FUNDAMENTAL). Algunos trabajos de mi ámbito, no están a mi alcance tras más de 20 años de dedicación pero son comentados alegremente en blogs de pseudotitulados sin pudor mi vergüenza.

Tuit 41: Que un trabajo llegue a conclusiones relevantes o asombrosas, que rompan con el paradigma establecido y haya sido publicado en una revista Q4 o, peor, no indexada, ya debería ser suficiente para analizarlo con sumo cuidado.

Tuit 42: Si yo demuestro que los campos de radiofrecuencia de los móviles producen cáncer o son detectados por hipersensibles, procuraría que esos resultados se publicaran en una de las revistas más relevantes: New England Journal of Medicine, Lancet, JAMA, Nature o Science.

Tuit 43: Lógicamente, esas revistas pondrán sumo cuidado en las revisiones, aplicando la famosa frase de Carl Sagan: “afirmaciones extraordinarias requieren de evidencias extraordinarias”.

Tuit 44: Una de esas revistas no publicará sospechas u opiniones. Publicará hechos difícilmente contestables… Publicará esas evidencias extraordinarias si están bien fundamentadas… ¿y cómo se obtienen esas evidencias extraordinarias?

Tuit 45: Como indiqué al principio, no todos los estudios son iguales. No es lo mismo una experiencia personal, un caso clínico, un estudio de cohortes, uno de casos y controles, un ensayo clínico o un metanálisis. No, no son lo mismo.

Tuit 46: Voy rápido. Los resultados que yo obtengo, sin publicar, sin ese proceso de revisión por pares, no tienen prácticamente ninguna validez. Que los haya contado en un congreso internacional, tampoco.

Tuit 47: La Ciencia se fundamenta en “REPRODUCIBILIDAD” y “REFUTABILIDAD”.

Tuit 48: Reproducibilidad: si tienes un burro y dices que vuela, déjame el burro a ver si conmigo también vuela.

Tuit 49: Refutabilidad: si cojo el burro y lo lanzo desde un avión (con paracaídas por si acaso no vuela) y no vuela, lo mismo (y más seguro) es que el burro no vuele.

Tuit 50: Por tanto, tus resultados no son fiables por definición. Me da igual que me digas que tus voluntarios detectan la radiación electromagnética, mientras no lo publiques previa revisión anónima, tu metodología, tus análisis e interpretaciones, no valdrán nada.

Tuit 51: ¡Publícalos! ¡Si tus resultados son extraordinarios, las revistas más prestigiosas querrán publicarlos! Así podremos analizar tu metodología, tus análisis…

Tuit 52: Un caso clínico o un resultado aislado, tampoco hará Ciencia. Los resultados de estudios transversales, casos y controles y de cohortes estarán condicionados por la metodología, el tamaño de la muestra, el análisis, generalmente estadístico, realizado…

Tuit 53: ¡Ay la Estadística! Pobres mis alumnos… que saben que hasta una buena significación (una p pequeñita) no será sinónimo de validez.

Tuit 54: En lo alto del todo, los estudios más relevantes y fiables, serán las revisiones sistemáticas y los metaanálisis.

Tuit 55: En estos “estudios de estudios” se revisan muchos artículos, se comparan resultados y metodologías, lo que permite llegar a conclusiones más fuertes pero ¡cuidado! que las revisiones “narrativas” cada vez son más frecuentes.

Tuit 56: Una revisión “narrativa” no tiene un diseño adecuado, criterios de inclusión y exclusión, periodo de revisión, comparativa… Hacer una revisión no es leer o escoger, los científicos somos serios. Ejemplo: http://radiandando.es/2018/06/20/el-wifi-es-una-amenaza-importante-para-la-salud-humana-o-no/

Tuit 57: En definitiva, el hecho de citar un estudio, ya no de Ecoportal, Youtube o DSalud, sino incluso de PubMed (donde hay revistas que no entrarán nunca en JCR por su baja rigurosidad) no es sinónimo de nada.

Tuit 58: En alguna discusión con antiantenas sin formación más allá de Google, me ha pasado, intentan justificar sus posiciones enlazando resultados, a bulto, de PubMed. Sin analizar, ya no el tipo de estudio o relevancia, es que ni la revista o el año. Yo ya lo llamo “falacia ad pubmedium”.

Tuit 59: Ante un estudio con resultados extraordinarios siempre: lectura atenta y crítica (hará falta un mínimo de formación, sí otra vez), metodología, tipo de estudio, sesgos, análisis, calidad de la revista y los autores… y esperar a su confirmación por parte de otros…

Tuit 60: Es demasiado frecuente escuchar eso de “hay estudios que demuestran que”… Ahora deberás preguntarte muchas cosas antes de seguir leyendo tontás 😎😎😎…