La mentira de Tezanos sobre la precisión del CIS, en 2 gráficos

·8 min de lectura

Recientemente, el director del Centro de Investigaciones Sociológica (CIS), José Félix Tezanos, escribía un artículo en El País hablando de las virtudes de sus barómetros y emplazando al sector “a centrar la discusión en debates científicos con los que se puedan alcanzar conclusiones útiles”.

Lo cierto es que, en esas líneas el director del CIS realizaba ciertas consideraciones que merecen ser contextualizadas, matizadas y, en algunos casos, desmentidas.

A continuación, trataré de explicar algunos puntos que considero oportunos.

1. Volatilidad e impredecibilidad. En varias ocasiones se menciona la “creciente volatilidad” en las elecciones más recientes debido a que los electores deciden su voto cada vez más cerca del día de la votación y “cuyo voto es imposible anticipar”.

Si bien es cierto que en los últimos tiempos más votantes deciden su voto en los últimos días y que la volatilidad ha crecido desde la llegada del multipartidismo a España, eso no justifica las desviaciones que ha tenido el CIS desde la llegada de Tezanos a la presidencia en 2018.

De hecho, algunas encuestadoras privadas han demostrado gran solvencia a la hora de predecir el voto, cosa que el CIS no. Además, ni Madrid ni Cataluña han vivido procesos electorales especialmente volátiles, donde las discrepancias entre las encuestas –desviación estándar para cada partido—han sido especialmente bajas comparando con el contexto actual.

Desviación estándar en las elecciones autonómicas y generales desde 1990.
La volatilidad en las elecciones crece en los últimos años | Endika Nuñez

2. Adivinos. El diccionario español de Oxford Languages define adivino como la “persona que hace predicciones […] por medio de procedimientos que no se basan en la razón ni en los conocimientos científicos”. La utilización de este término por parte de Tezanos no es casual, sino que trata de rebajar la importancia de estimar bien los resultados electorales.

De esta manera, resta importancia a los trabajos de otras encuestadoras que, durante años, han demostrado una sólida trayectoria con unos resultados más que aceptables. 

3. Datos primarios. Los datos primarios o microdatos son una de las virtudes del CIS. La institución pública es una de las pocas encuestadoras que ofrece, no solo un sinfín de cruces entre variables sociológicas, sino también las respuestas directas –anonimizadas—de cada uno de los entrevistados en abierto para todo el mundo. Tal y como indica el director del CIS, estos datos responden a una transparencia carente en el sector demoscópico privado y, sin duda alguna, son para uso y disfrute de todos.

Sin embargo, una de las cosas que más se ha criticado históricamente al CIS –no solo desde la incorporación de Tezanos a la dirección—es que dichos datos están disponibles meses más tarde de la publicación del barómetro, por lo que los analistas y sociólogos no disponen de estos datos tan valiosos para la realización de estudios o estimaciones alternativas, en muchas ocasiones, hasta después de la cita electoral, dificultado así auditar los datos ofrecidos por la institución pública.

4. Crítica numerológica: catalanas y madrileñas. José Félix Tezanos critica la “numerología” diciendo que “en ocasiones lo único que se hace es meter los números en una batidora para llegar a conclusiones a posteriori que se desean”.

Esta afirmación es totalmente tramposa por varios motivos: 1) La única manera de comprobar si las estimaciones han estado acertadas o no es comparándolas con los resultados electorales, por lo que, necesariamente, tiene que ser a posteriori y 2) tres párrafos más adelante tras esta afirmación, el propio Tezanos pasa a evaluar los aciertos que han tenido sus estimaciones –barómetro preelectoral y ‘flash’ en Madrid y Cataluña—utilizando la “numerología” que criticaba.

En el caso madrileño, Tezanos habla de que el CIS estuvo cerca del resultado para el PP en escaños, cuando en realidad tuvo 8 y 5,5 puntos de desviación en intención de voto (la media histórica en Madrid está cerca de 2 puntos de error), con 39,2% y 36,7% estimado respecto al 44,7% obtenido por los populares.

Además, si bien estuvo más cerca con algunos partidos (UP, Vox y Cs) falló más que la media con otros (Más Madrid, PSOE y PP). En el siguiente tweet, Electomanía hace un balance de las desviaciones de las encuestas en Madrid.

Este contenido no está disponible debido a tus preferencias de privacidad.
Actualiza tu configuración aquí para verlo.

Por último, Tezanos también apunta a que en CIS “ha anticipado con notable precisión”, por ejemplo, “en las catalanas, en las que nadie daba vencedor al PSC”. Esta afirmación es directamente falsa, ya que la mayoría de las encuestas –también el promedio de encuestas de TheElectoralReportapuntaban al PSC como ganador en votos, y muchas de ellas también lo hacían en escaños.

P.D: El CIS sí se puede considerar una encuestadora que “siempre ha acertado con la identificación de los partidos ganadores”, tal y como apunta Tezanos en su artículo, ya que al menos un 77% de sus barómetros en la historia del CIS han sabido detectar el ganador de las elecciones y esa cifra sube hasta el 86% si consideramos las encuestas del último mes antes de la votación.

5. Precisión de las encuestas. Personalmente siempre he defendido que las encuestas son una herramienta de aproximación, por lo que siempre hay que considerar errores intrínsecos a ellas. Por ello es de gran interés el uso de modelos probabilísticos, donde se tienen en cuenta estos errores para tratar de estimar los escenarios que más opciones tienen de terminar ocurriendo. No solo el "qué", sino en "cuántas" ocasiones.

Esta cuestión no es baladí y, por ese mismo motivo, no se le exige al CIS una precisión más allá de lo normal al tratarse de sondeos electorales. De hecho, el barómetro de la institución suele publicarse entre 15 y 20 días antes de las elecciones –aunque últimamente estén realizando sondeos ‘flash’ o ‘metodológicas’ más cercanas al día de la votación—por lo que cabe esperar un error mayor que las demás por el mero echo de alejarse en el tiempo, ya que los días que quedan para votar, el tamaño de muestra utilizado o el tipo de elección (general, autonómica o municipal) es determinante a la hora de estimar el voto.

Para evaluar los daños poniendo el CIS es su contexto, he calculado el error que cabría esperar de los barómetros del CIS a lo largo de su trayectoria en función de las características propias del sondeo para tratar de responder qué error se esperaba y cual fuel el error obtenido finalmente.

Error medio esperado según las características de la encuesta vs. error medio obtenido.
El CIS tiende a hacer peores estimaciones de las esperadas | Endika Nuñez

En este sentido, el CIS –más allá de la etapa de Tezanos—ha solido cometer más errores de las que se esperaba que realizaran. Por ejemplo, el error esperado del sondeo ‘flash’ de Madrid, con 14 días de distancia hasta las elecciones y un tamaño muestra de 2.300 es aproximadamente de 3 puntos. En contraste, el CIS tuvo un error de 3,3 puntos, tres décimas peor de lo que se esperaba.

6. Prestigio del CIS. El CIS sigue siendo una institución de prestigio, pero sí que hay “elementos objetivos de contraste” que apuntan a una pérdida paulatina de su reputación. Se pueden resumir en los siguientes puntos:

  • Imprecisión de la estimación. El CIS sigue teniendo sus defectos y sus virtudes, tal y como he apuntado en este análisis, pero los barómetros desde la llegada de Tezanos a la presidencia tienen un claro sesgo en favor de las fuerzas de izquierdas.

  • La rotura de series históricas es un daño con un valor incalculable. Una de las grandes virtudes del CIS es, precisamente, el poder comparar barómetros con el paso de los años, con las mismas preguntas formuladas que ofrecen el contexto adecuado para analizar el presente. Algunas de esas series se han roto durante la presidencia de Tezanos, ya que han cambiado la formulación de la pregunta o la escala de valoración.

  • Hilando con el punto anterior, hay que decir que algunas preguntas han sido formuladas de forma imprecisa o engañosa. Es el caso del último barómetro publicado, donde una de las preguntas aludía a una forma de llegar a la presidencia en el Principado de Asturias o la Comunidad Autónoma Vasca que no se corresponde con la realidad.

  • Los cambios comunicativos son otra fuente que resta credibilidad al CIS. Tal y como apuntaba Kiko Llaneras en un artículo en El País, la forma de presentar los datos de la estimación ha cambiado en múltiples ocasiones. Los sondeos han pasado de ofrecer los datos de la intención directa de voto –sin cocinar—a realizar estimaciones con modelos diferentes, cambiando de un mes al siguiente de metodología hasta la llegada de 2020, que parece que el formato actual (barómetro mensual con estimación de voto) ha llegado para quedarse.

Para terminar, José Félix Tezanos ha puesto el foco en las críticas que recibe el CIS en los acierto y errores que ha tenido la institución a la hora de estimar el voto y emplaza al sector a centrar la discusión en debates científicos para llegar a conclusiones útiles. Lo que Tezanos obvia es que la mayor parte de las críticas del sector no se deben a la precisión del CIS para estimar resultados electorales, sino a la deriva que ha tomado la institución con los cambios que ha ido incorporando desde su llegada a la presidencia.

VER VÍDEO | Sánchez exhibe el éxito en la vacunación ante las "urgencias" de Casado tras el 4M

Más historias que te pueden interesar:

Nuestro objetivo es crear un lugar seguro y atractivo para que los usuarios puedan establecer conexiones en función de sus intereses y pasiones. A fin de mejorar la experiencia de nuestra comunidad, hemos suspendido los comentarios en artículos temporalmente