Por Federico Irazabal
La encuesta es una de las técnicas de investigación más poderosas desarrolladas en el campo de las ciencias sociales. Podríamos decir que sus orígenes se remontan a tiempos del Imperio Romano. En aquella época, los gobernantes sondeaban la opinión de sus gobernados, para intentar complacer necesidades o corregir el rumbo de algunas políticas, aunque esas escuchas no se realizaban de manera sistematizada o con determinada periodicidad.
Tenemos entonces un primer uso de este tipo de técnicas orientado a la gestión de gobierno. El advenimiento de procesos competitivos para escoger a los gobernantes le otorgó a los sondeos un nuevo sentido, de evaluación del estado de la opinión pública, pero en materia electoral. Así, en el siglo XIX, en Estados Unidos surgen las denominadas straw polls (Oberschall, 2008), que eran sondeos realizados en muy pequeña escala, pero que en su tiempo atrajeron la atención de medios de comunicación que los utilizaban para incidir en la competencia electoral en favor de algún candidato.
El problema inicial de las straw polls respecto de la baja cantidad de entrevistados se fue solucionando poco a poco, y con la ayuda de mecanismos de distribución postales o editoriales los tamaños de las muestras aumentaron considerablemente. Funcionaron relativamente bien durante casi un siglo, pero su principal problema seguía siendo el sesgo que presentaba la población encuestada.
Pero todo cambió a inicios de la década del 30, cuando entró en escena George Gallup, a quien podemos considerar el inventor de las encuestas (Moreno, 2018). El principal aporte de Gallup consistió en la incorporación de elementos de la teoría de la probabilidad al diseño de muestras para el análisis de la opinión pública. Esas técnicas basadas en la probabilidad, que tenían un desarrollo de aproximadamente doscientos años se utilizaban en disciplinas como la agronomía para la selección de semillas para la mejora genética, pero no habían sido aplicadas al campo de las ciencias sociales.
Este nuevo enfoque en la manera de medir la opinión pública modificó todo, ya que la nueva corriente probabilística permitía una optimización de los recursos, y un considerable abaratamiento de los costos. Para tener una idea, algunas de las straw polls llevadas adelante en 1896 por el Chicago Tribune enviaron por correo más de 800 mil formularios, de los que recibieron 240 mil respuestas (Moreno, 2018). A pesar de ser una buena tasa de respuesta, un tamaño de muestra de 240 mil es impensable (e innecesario) hoy en día.
La introducción de esta innovación metodológica generó un crecimiento brutal en el número de encuestas que se realizaban, incorporó nuevos actores, ya que las encuestas electorales no solo pasaron a ser de interés para candidatos y medios de comunicación, sino que también las empresas se incorporaron a esa lista de curiosos por conocer el estado de la opinión pública. También, hay que decirlo, el giro probabilístico aumentó uno de los usos más controversiales de las encuestas: el del pronóstico electoral. La encuesta en sí misma no es predictiva –lo veremos más adelante–, aunque se insiste por parte de candidatos, equipos de campaña y medios en un uso de este tipo, para aumentar el posicionamiento y generar conversación (Hillygus, 2011).
A pesar del constante y creciente desarrollo de la encuesta como técnica de investigación de la opinión pública, sigue siendo una técnica imperfecta. Al estar basados muchos de sus elementos en la teoría de la probabilidad, los resultados que las encuestas arrojan siempre tienen un margen de error. Dependerá de la fineza (y del presupuesto) del equipo de diseño y ejecución de la encuesta, de minimizar ese error; pero nunca una encuesta va a ser reflejo exacto de la realidad de un momento.
Encuestas para todos los bolsillos
La popularización de la encuesta fue avanzando también a medida que se incorporaron elementos tecnológicos que abarataron sus costos.
Cuando se incorporaron los mencionados elementos probabilísticos, y se combinaron con información censal, se pudieron elaborar muestras que permitían la distribución de los encuestadores basada en un criterio geográfico (el lugar de residencia de los individuos seleccionados), que mejoró con creces la representatividad de las muestras con las que trabajaban la straw polls.
Más tarde, la llegada del teléfono abrió un nuevo universo a explorar, y bajo la lógica de expansión de los servicios telefónicos, nos acercamos a la idea (nunca finalizada) de que en cada hogar podría haber un teléfono, y por tanto ya no era necesario apersonarse en los domicilios, sino que bastaba con acceder por medio del teléfono.
La llegada de la telefonía celular aumentó la esperanza del abaratamiento y la mejora de la representatividad de las muestras, porque ya las unidades de esas muestras no eran hogares, sino individuos, cada uno asignado a un teléfono personal. Si bien estamos lejos de una cobertura universal, para determinados usos y en determinados contextos geográficos, la encuesta por celular es una muy buena opción.
El último de los desafíos de incorporación tecnológica a la investigación de la opinión pública, y específicamente a las encuestas fue internet. Una primera etapa relacionada al uso del correo electrónico como fuente para las muestras, y más recientemente las redes sociales como espacio para la prospección de la opinión pública. Este ámbito virtual está más lejos aún que el del celular de obtener una buena representatividad, pero en términos de costos se impone cada vez más como opción.
¿Qué hacer ante esta invasión de encuestas?
El crecimiento de las opciones de aplicaciones de la encuesta en diferentes ámbitos aumentó exponencialmente el número de encuestas que se realizan, la frecuencia con que se llevan adelante y la cantidad de empresas o profesionales que se dedican al tema. También complejizó en enfoque del error total en la encuesta (Weisberg, 2005).
La propuesta de Weisberg es que existen diversas instancias en el desarrollo de la encuesta donde pueden aparecer errores que afecten sus resultados. Así, identifica dos bloques principales: los errores de representatividad, asociados con temas de muestreo, y errores de diseño, vinculados con el cuestionario y su aplicación (Méndez Lago, 2016).
Para despejar algunas de las dudas, y separar la paja del trigo en materia de encuestas, propongo a los lectores una guía de preguntas para plantarse frente al bombardeo de resultados, o para tener mejores elementos a la hora de aceptar (o no) la información que nos brindan. Esta guía no es exhaustiva, pero considero que aporta suficientes elementos para reducir el riesgo del gato por liebre.
Pregunta 1: ¿Sobre quién nos brinda información la encuesta?
Comentamos anteriormente que la encuesta trabaja sobre muestras de una población, y tal vez venga al caso explicar con mayor detalle qué es una muestra. Una muestra es una parte de una población mayor, que habitualmente llamamos universo. Al igual que en nuestro lenguaje utilizamos la sinécdoque para aludir a un todo a partir de la mención de una parte, una muestra nos permite conocer el todo, observando una porción de este (Becker, 2009). Dependiendo del tipo de población que consideremos, tendremos posibilidades de obtener diferentes muestras. Si mi universo son los electores de Chicago, podré diseñar diferentes enfoques de muestras en base a distintos criterios. Por ejemplo, podré considerar dentro de esos electores solamente a los hombres, o solo a los que votan por primera vez, etc. Uno de los atributos más poderosos de la encuesta como técnica de investigación es la posibilidad de generalizar los resultados obtenidos para una muestra, a la población total. Pero si yo solo encuesto hombres, a lo sumo podré generalizar para los hombres que votarán en Chicago.
Pregunta 2: ¿Cuántas personas respondieron a la encuesta?
Una de las fortalezas de la encuesta es poder generalizar resultados para una población a partir de la investigación en una porción.
¿Cuán grande debe ser esa porción? Uno de los aspectos a considerar para establecer el tamaño de una muestra es la homogeneidad de nuestro universo. Cuando nos tenemos que hacer un estudio de sangre, en el examen no sacan toda la sangre de nuestro cuerpo para ponerla bajo el microscopio. Solamente alcanza con unas gotas para decirnos si tenemos alta la glucemia o el ácido úrico. Eso es porque la sangre (nuestro universo de estudio) es homogéneo en su composición. Cuando trabajamos con poblaciones compuestas por seres humanos, el grado de heterogeneidad aumenta considerablemente. Por tanto, no alcanza con interrogar a unas decenas de individuos para conocer (volviendo a nuestro ejemplo anterior), la opinión de los electores de Chicago.
La representatividad de los chicagüenses deberá satisfacer criterios de distribución como el sexo, la edad, el barrio donde viven, la ocupación, el nivel socioeconómico, y un larguísimo etcétera, que dependerá del nivel de detalle con el que queramos describir la opinión de los electores de Chicago. Necesitaremos, entonces, un número grande.
Pero, ¿cuán grande? Bueno, aquí entra en juego una decisión que tomamos cada vez que definimos el tamaño de una muestra. Tan grande, en relación con el margen de error que estemos dispuestos a aceptar. El margen de error es la diferencia que los resultados obtenidos para la muestra pueden tener en relación a lo que sería la realidad de los datos. Si mi encuesta en Chicago dice que el Partido Demócrata tiene 34 puntos porcentuales de intención de voto, y el margen de error de mi encuesta es +/-3, el resultado probable para el partido demócrata estará entre 31 y 37 puntos.
Cuanto mayor es el tamaño de la muestra (cuanto más se acerque al tamaño del universo), menor es el margen de error o error muestral. Pero aumentar el tamaño de la muestra implica encarecer el estudio. Por tanto, dependiendo de cuanta diferencia entre la muestra y la realidad estemos dispuestos a aceptar para tomar una información como aceptable, se determinará el tamaño de la muestra y su margen de error. Para encuestas electorales, por lo general se aceptan márgenes de error de entre 5 y 2,5 puntos porcentuales. Más, sería arriesgado, y menos, exige una muestra tan grande que vuelve inviable económicamente el estudio.
Desconfíe de márgenes de error altos, pero también cuando son demasiado bajos, porque probablemente no se hizo el número de encuestas que le están prometiendo.
Pregunta 3: ¿Cómo son esas personas que respondieron la encuesta?
Ya establecido el número de casos y el margen de error, debemos cuidar que ese número sea un buen reflejo de la población en cuanto a su composición sociodemográfica. Y aquí entra en juego una nueva decisión: cuánto vamos a intervenir en la elección de los casos de la muestra.
Un primer camino es utilizar la selección aleatoria de nuestros respondentes. De acuerdo con la teoría probabilística, cada miembro de la población tiene (casi siempre) igual probabilidad de ser seleccionado que cualquiera. De ese modo, si reducimos la incidencia de sesgos en el procedimiento de muestreo, podremos afirmar que nuestra muestra es un reflejo a menor escala de nuestro universo. Pero eso no es tan fácil, ya que para hacerlo con mayor exactitud deberemos tener disponible el universo (por ejemplo, todos los números telefónicos de una ciudad, o identificadas todas las viviendas si la encuesta es domiciliaria).
Aquí hago un paréntesis que separa a las encuestas domiciliarias y a las telefónicas de las encuestas online. En la pregunta anterior y en esta afirmamos que para obtener muestras con buen nivel de representatividad y un margen de error aceptable debemos tener acceso al universo y dar a todos los individuos la misma posibilidad de ser seleccionados. Es decir, manejamos un muestreo probabilístico, donde los individuos tienen (casi) la misma probabilidad de ser seleccionados. Las encuestas en línea no utilizan un muestro probabilístico; los participantes eligen ser parte de la muestra, a diferencia del muestreo probabilístico, donde los participantes son seleccionados del universo. Si publico una encuesta en un perfil de Facebook, la verán quienes accedan a ese perfil en determinado momento; si pauto esa publicación con publicidad, los criterios de pautado y el mecanismo de selección que los algoritmos establecen para mostrar esa encuesta también afectan la aleatoriedad y por ende vulneran la representatividad estadística.
En tiempos de proliferación de encuestas, y como medida descalificadora de cualquier empresa o profesional que presente una encuesta realizada en redes sociales: si le presentan un margen de error (no importa de cuánto), o un intervalo de confianza (no importa de cuanto) en la ficha técnica de una encuesta online, salga corriendo. La persona que hizo esa encuesta es un ignorante de cómo se hace una encuesta representativa o un sinvergüenza que lo está estafando.
Volviendo a los tipos de muestreo que pueden utilizarse, una segunda opción es un muestreo estratificado. Esto quiere decir que, si conozco la composición sociodemográfica de un universo, puedo definir a priori el peso de cada segmento en número de casos en esa muestra, no dependiendo del azar para su distribución. Por ejemplo, si tengo una muestra de mil casos y sé que la distribución en el universo es 52% de mujeres, deberé contemplar que 520 de esos casos correspondan a participantes del sexo femenino.
Pregunta 4: ¿Qué tipo de encuesta es?
Además de diferentes tipos de encuestas según el método de relevamiento de datos (presencial, telefónica u online), tenemos una clasificación de encuestas de acuerdo con su diseño. Así, tendremos encuestas transversales, encuestas periódicas, tracking o paneles (Méndez Lago, 2016).
Las encuestas transversales son las más habituales, y consisten en medir el estado de la opinión o las preferencias de una población en un momento determinado. Sus resultados son una fotografía de ese momento y no más que eso.
Si aplicamos esa misma encuesta con una periodicidad determinada, podríamos realizar comparaciones sobre el comportamiento de esa población en cuanto a ese tema y sus variaciones, pero es importante que se mantenga el mismo universo, la misma técnica de relevamiento y el mismo cuestionario. De esta forma, podremos comparar datos sobre una misma base. Ejemplo de este tipo de encuesta son las encuestas intercensales, que se utilizan para ajustar datos de los censos de una manera más económica.
El tracking es un típico caso de encuesta periódica aplicada a los procesos electorales. Aquí, se sustituye una parte de la muestra original y en forma diaria (generalmente cerca de la fecha de la elección) se va agregando un porcentaje de casos nuevos, lo que permite establecer tendencias en la preferencia por candidatos. Dependiendo del porcentaje de sustitución de la muestra original, cada determinado número de días tendremos una muestra completamente renovada, con la posibilidad de detectar tendencias y por un costo menor que el de realizar encuestas completas de forma diaria.
Finalmente, el último de los tipos de encuesta que consideraremos es el de los denominados paneles. Este tipo de medición requiere de una determinada periodicidad, pero además de mantener la muestra a lo largo del tiempo. Es útil para estudiar la evolución de un comportamiento o preferencia, porque a diferencia de la encuesta periódica, se aplica a los mismos individuos en determinado período. Como contrapartida, este tipo de encuesta tiene un alto costo, porque además del desplazamiento para la ubicación de las personas en diferentes momentos, se corre el riego de lo que se conoce como mortandad de la muestra, ya que en un determinado lapso se pierde el contacto con participantes, y eso disminuye la cantidad de casos de la muestra, o nos obliga a sustituirlos, deteriorando la fortaleza de mantener una misma muestra en el periodo.
Pregunta 5: ¿Qué se preguntó en la encuesta?
Un aspecto muy importante a la hora de desarrollar una encuesta es el diseño del instrumento de medición que se va a aplicar. En el caso de la encuesta, el instrumento es el cuestionario. Para que efectivamente lo que preguntemos refleje lo que estamos buscando responder, son claves las definiciones conceptuales. ¿Qué entendemos por simpatía política? ¿Qué significa intención de voto? Para cada una de estas preguntas, el investigador deberá suministrar además de una definición conceptual, un indicador del comportamiento o preferencia que queremos relevar, que sea correspondiente y válido con el concepto abstracto.
Por eso, un buen indicador (valga la redundancia) de la calidad y honestidad de una encuesta es la presentación de las preguntas que se realizaron para cada uno de los conceptos que se presentan. Muchas veces sucede que errónea o deliberadamente, se presentan resultados de un concepto; por ejemplo, simpatía hacia un personaje, como intención de voto hacia ese personaje.
¿Cómo movernos en esa marea de información?
Como comenté anteriormente, estas preguntas guía no son una manera para detectar encuestas de mala calidad o deshonestas, pero son un buen medidor.
Complementariamente, es importante indagar sobre la trayectoria de la firma encuestadora o el profesional que presenta la encuesta; para quiénes ha trabajado, cómo son sus informes, cuáles son las técnicas que utilizan habitualmente, etc.
Pero un último tema sobre el que tenemos que estar prevenidos a la hora de recibir información de encuestas es sobre nosotros mismos. No creérnosla; no subestimar a los adversarios o deprimirnos porque los resultados de una encuesta nos dan muy arriba o muy abajo. Las encuestas no son predictoras de información, y como vimos, hacen agua por muchos lados. Por tanto, si se me permite la recomendación, utilícenlas como guía, como referencia para ajustar la estrategia o profundizar con otras técnicas, pero no se jueguen su carrera o reputación a partir de ninguno de sus resultados.
Referencias
Becker, Howard (2016) Trucos del oficio, Buenos Aires, Siglo XXI.
Hillygus, Sunshine (2011) “The evolution of social polling in the United States”, Public Opinion Quarterly, Vol. 75, num 5, pp. 962-981.
Méndez LAGO, Mónica (2016) “Prospección de la opinión pública: el mensaje comienza con la escucha”, en SÁNCHEZ MEDERO, Rubén (dir) Comunicación política. Nuevas dinámicas y ciudadanía permanente, Madrid, Tecnos (pp. 277-316).
Moreno, Alejandro (2018) El cambio electoral. Votantes, encuestas y democracia en México, Ciudad de México, FCE.
Oberschall, Anthony (2008) “The historical roots of public opinion research”, en Dornsbach, Wolfgang y Michael Traugott (coords) The SAGE Handbook Of Public Opinion Research, Los Angeles, Sage Publications, pp. 83-93.
Weisberg, Herbert (2005) The total survey error approach, Chicago, University of Chicago Press.
Federico Irazabal (Uruguay) es sociólogo; consultor en comunicación política; especialista en opinión pública, sistemas electorales y planificación de campañas. Consultor del programa Partidos Políticos y Democracia en América Latina (Konrad Adenauer Stiftung). Participó en procesos electorales y de capacitación en varios países de América Latina y el Caribe. X: @fede_irazabal / Instagram: @fede_irazabal
