Início » O que são sondagens? » Como ler uma sondagem?

Como ler uma sondagem?

*

ESTUDOS ELEITORAIS, COMPORTAMENTO ELEITORAL, SONDAGENS,  VOTO

A apresentação de sondagens na imprensa escrita aparece, na maior parte das vezes, da forma que se ilustra no texto reproduzido abaixo (retirado do site do Diário de Noticias)

Empate perfeito entre PS e PSD

A apresentação de sondagens na comunicação social centra-se, compreensivelmente (tendo em conta a natureza da comunicação social), nos resultados. A informação referente à metodologia usada é reduzida ao mínimo exigido pela legislação.  A interpretação dos resultados da sondagem – feita geralmente na perspetiva de “quem vai à frente” –  é da responsabilidade do jornal. Contudo, nem sempre a interpretação e apresentação editorial dos resultados é feita com o rigor técnico que seria desejável. Por exemplo, no caso em concreto, em que a margem de erro (apresentada no 3º parágrafo da notícia como “intervalo de erro”) é de ±2.5%, isso significa que os resultados na população podem variar, no caso do BE entre 6%-2,5% e 6%+2,5%, ou seja, entre 3,5% e 8.5%, da CDU entre 9%-2,5% e 9%+2,5%, ou seja, entre 6.5% e 11.5%, e do CDS entre 10%-2,5% e 10%+2,5%, ou seja entre 7.5% e 12.5%. Isto quer dizer que em rigor também existe um empate técnico entre estes três partidos, uma vez que há um conjunto de resultados possíveis, entre 7.5% e 8.5%, que são partilhados por estes três partidos.

empate técnico

Este tipo de notícia vem (deve vir) acompanhada de uma  Ficha Técnica com os elementos mais relevantes da sondagem (quem realizou a sondagem, quem a encomendou, população alvo, procedimentos de amostragem, número de sujeitos da amostra, margem de erro, taxa de resposta, data das entrevistas). De uma forma geral a ficha técnica completa, elaborada pela empresa que executou a sondagem, apenas poderá ser obtida (em Portugal) na Entidade Reguladora da Comunicação Social (ver aqui depósito de sondagens), embora alguns jornais as publiquem nas edições digitais (para uma descrição completa dos elementos que devem constar do relatório técnico de uma sondagens ver Relatórios ).

No caso do nosso exemplo, publicado no jornal Diário de Noticias, a ficha técnica apresentada era a seguinte:

*

Não é possível, no entanto, interpretar correctamente os resultados de uma sondagem só com os dados apresentados neste tipo de ficha técnica simplificada (embora seja melhor ter esta informação do que não ter nenhuma!). A interpretação correcta só pode ser feita conhecendo um conjunto de informações (mais vasto do que aquele que os jornais habitualmente publicam) relacionadas com a forma como a sondagem foi concebida e concretizada.

O texto que se reproduz abaixo, How to Read Political Polls Like a Pro, da autoria de John McManus, identifica oito factores essenciais a considerar na análise e interpretação de uma sondagem política [Nota: adicionei ao texto original comentários e ligações para páginas deste ou outros sites que explicitam e contextualizam os conceitos aí abordados].

O relatório técnico da sondagem deverá fornecer ao leitor todos os elementos necessários para analisar a forma como estes oito factores influenciaram os resultados da sondagem em questão (cf. Relatórios).

How to Read Political Polls Like a Pro (John McManus)

During political campaigns, polls dominate the news. Here’s a guide to interpreting them rationally.

1. Take polls conducted more than six weeks before an election with a sack, not a grain, of salt.  
As Alexis de Tocqueville noted in 1840, Americans “find it a tiresome inconvenience to exercise political rights which distract them from industry. When required to elect representatives, to support authority by personal service, or to discuss public business together, they find they have no time.”Then, as now, many citizens don’t really make up their minds about how they will vote on any but the most publicized races until shortly before the election. So early polls are prone to volatile top-of-the-head responses. Such polls are like nailing Jello to a wall.

[Concordo com o autor quando ele afirma que as sondagens feitas com grande antecedência em relação ao dia da eleição não devem ser usadas para prever e antecipar o resultado dessas eleições (em rigor, só os resultados das sondagens feitas no dia da votação - "à boca-da-urna" -, podem ser usados como previsão dos resultados eleitorais). O resultado das eleições a que se refere a sondagem do DN apresentada acima ilustram bem esse desfasamento: PSD - obteve 38,66% dos votos na eleição (36% na sondagem) ; PS - 28,05% na eleição (36% na sondagem); CDS-  11,71% na eleição (10% na sondagem); PCP/PEV - 7,90% na eleição (9% na sondagem, com a sigla CDU) ; BE- 5,17% na eleição (6% na sondagem).  Penso, no entanto, que isso não se justifica apenas pelo facto de os eleitores não "terem tempo" para se preocupar com as eleições a não ser muito próximo do dia da votação.

A diferença entre o resultado das sondagens feitas com grande antecedência e o resultado da votação deve-se mais ao facto de haver uma diferença entre aquilo que se pensa fazer antes de estarmos perante a eminência de agir e aquilo que fazemos quando finalmente agimos. Esse fenómeno não se regista apenas nas eleições. Já todos nós passámos por situações em que pensámos (convictamente até)  que íamos fazer ou dizer determinada coisa e, quando estávamos perante a eminência de ter que a fazer ou dizer, ponderarmos melhor e acabarmos por não o fazer ou dizer. Isto é sobretudo verdade quando aquilo que pensávamos fazer ou dizer põe em causa ou vai contra o que é normal ou expectável no nosso comportamento habitual, ou seja, contra a nossa identidade social.

Penso que é isso que se passa com os eleitores quando são inquiridos em sondagens realizadas muito antes do dia da votação. Principalmente com os eleitores que estão descontentes com o comportamento do "seu" partido ou do(s) "seu(s)" candidato(s) (cf. modelo psicossocial do comportamento eleitoral). Quando inquiridos para uma sondagem esses eleitores descontentes podem manifestar o seu desagrado e até expressar uma vontade genuína de votar noutro partido/candidato. No entanto, à medida que se aproxima o dia decisivo, essa sua vontade vai-se desvanecendo e impondo-se a "força" da sua identidade política e partidária. Nuns casos acabam por votar no "seu" partido, noutros por se abster e muito poucos são aqueles que, de facto, acabam por votar noutro partido que não o "seu".

Isto não quer dizer que os resultados de sondagens realizadas com  antecedência em relação ao dia da votação não sejam válidos. O que significa é que eles não podem ser usados para prever os resultados eleitorais. São, no entanto, um bom indicador do "humor" dos eleitores naquele momento. Nesta perspectiva, quando uma sondagem apura para um partido resultados abaixo do que seria esperado (isto é, inferiores ao último resultado eleitoral), isso apenas mostra que existe um descontentamento em relação à actuação desse partido entre os eleitores que votaram nesse partido. Por sua vez, quando os resultados apurados estão acima do esperado (isto é, são superiores ao último resultado eleitoral desse partido) isso não pode ser visto pelos partidos que os obtêm como ganhos eleitorais mas, apenas, como uma indicação de que os eleitores descontentes de outros partidos consideram que aquele outro partido está a agir melhor do que o seu (o que não quer dizer que vão votar nele). Como Lazarsfelf (1944, 1954) já demonstrou (cf. modelo sociológico do comportamento eleitoral) muito poucos eleitores mudam a sua intenção de voto (de um partido para outro) durante uma campanha eleitoral, mas muitos eleitores descontentes com o "seu" partido e que, por essa razão, não tencionavam votar, podem vir a ser mobilizados pela campanha eleitoral do "seu" partido" e acabar por votar nesse "seu" partido.

Teremos que considerar também o papel dos abstencionistas. É preciso ter em conta que existem vários tipos de abstencionistas, desde aqueles que não têm qualquer interesse pela política até aos que são politicamente activos - cf. Jack C. Doppelt, J.C. & Shearer, E. (1999). Um número considerável de abstencionistas, nomeadamente entre os eleitores que são politicamente activos, varia de eleição para eleição.  Esta flutuação dos eleitores abstencionistas pode ser decisiva numa eleição. Por exemplo, no caso português, podemos supor que nas últimas eleições (2011) houve um número considerável de abstencionistas entre os eleitores habituais do PS ( a votação neste partido foi significativamente abaixo daquela que obteve em eleições anteriores), enquanto nas eleições de 2002 e de 2005 houve um número considerável de abstencionistas entre os eleitores habituais do PSD (nestas eleições foi o PSD o partido que obteve uma votação significativamente abaixo daquilo que seria expectável face aos resultados anteriores). Atrevo-me mesmo a dizer que a vitória de um ou outro destes dois partidos (que, em Portugal, alternam entre si a responsabilidade de governar) reside essencialmente na sua capacidade de mobilizar os "seus" abstencionistas e de não deixar os seus eleitores habituais "irem" para a abstenção.

A participação eleitoral (a decisão de ir votar e não a opção do eleitor no acto de votar por um partido/candidato) parece ser fortemente influenciada pela avaliação que os eleitores fazem das variáveis económicas com forte impacto social (desemprego, custo de vida, inflação, ...) (cf. modelo económico do comportamento eleitoral), enquanto o sentido do seu voto parece estar relacionado com a sua identidade política (identificação partidária). Neste sentido a participação eleitoral é influenciada por variáveis de curto prazo, específicas de cada  eleição, e a opção de voto é influenciada por variáveis de longo prazo, menos dependentes dos factores específicos de cada eleição (cf. modelo sociológico e modelo psicossocial do comportamento eleitoral.].

2. Expand the margin of error at least by half, if not double. 
The results of scientific polls are often presented as “a snapshot” of public opinion at a particular time with an exact percentage of the population favoring something or someone and a precise margin of error. But polling experts caution that the margin of error only measures one reason why the survey results may differ from true public opinion–sampling error. Further, this error margin rests on a small mountain of assumptions that are never met in the real world. A poll is never a “snapshot.” It’s merely an estimate. Not a photo, but a drawing. And it’s based on probability, not certainty. When the gap between candidates–or sides of a ballot issue–is equal to or smaller than the margin of error, the poll can’t really say who is ahead. In fact, unless the gap is twice as large as the margin of error, there is at least a small chance that the race is too close to call. (That’s because each side’s estimate has a margin of error around it.) Because there are so many reasons a poll may be off, if possible, average results of similar polls rather than relying on a single survey, suggests Prof. Steven Chaffee, an experienced academic pollster at the University of California, Santa Barbara.

[As sondagens  (e os inquéritos) têm  fontes de erro que afectam os resultados obtidos. Existem erros associados ao questionário e às medidas usadas - validade, erros de medição e erros de processamento - e erros associados à amostra e à representatividade do estudo - erros de cobertura, erros de amostragem, erros de não resposta e erros de ajustamento.

Habitualmente os relatórios de sondagens publicados na imprensa apenas reportam o erro de amostragem (ou margem de erro). Mas os resultados são também afectados pelos outros potenciais erros. É por isso mesmo que é importante que o relatório nos dê outras informações relevantes, essenciais para sabermos como foram controladas estas fontes de erro, como, por exemplo, a população alvo, métodos de selecção da amostra, taxas de resposta, tipo de questões e sua ordem no questionário, possibilidades de resposta dadas aos respondentes, etc. (cf. Relatórios ). Todas estas variáveis têm influência no resultado final e, se não tiverem sido correctamente controladas, podem mesmo inviabilizar qualquer tipo de conclusão válida.

Mesmo a margem de erro que é habitualmente reportada na apresentação das sondagens deve ser lida tendo em atenção que o cálculo desse valor se faz com base em determinadas assumpções, relacionadas com a natureza do comportamento ou atitude que se está a medir e com o modo como se seleccionaram os respondentes, que nem sempre as empresas de sondagens respeitam integralmente na prática (cf. amostras probabilísticas)].

3. Consider the source.
If those who conduct or pay for the poll have something to gain from the outcome, exercise extreme caution. Results of a candidate’s own polls are notoriously unreliable. Warren Mitofsky, who directed polls for CBS News for 27 years, says news media shouldn’t even report results from partisan polls. Put the most trust in polls conducted by well-known firms and paid for by news media.“The biggest problem I see is partisan polls being taken as factual information,” cautions Mark Baldassare, senior fellow at the Public Policy Institute of California and president of the polling firm Baldassare Associates. Partisan pollsters will ask a question multiple times, but only report the most favorable response, he explains. And they will use “push polling” in which respondents are read a hypothetical or negative campaign charge and then asked how they feel. “I see it all the time,” he adds.
[Em Portugal a realização e divulgação pública de sondagens políticas é regulada pela Lei nº 10/2000, de 21 de Junho  que determina que as sondagens políticas apenas podem ser realizadas por empresas ou instituições credenciadas pela entidade reguladora da comunicação social (actualmente a ERC). A Portaria n.º 118/2001, de 23 de Fevereiro, alterada pela Portaria n.º 731/2001, de 17 de Julho regula a credenciação das empresas de sondagens. As empresas credenciadas estão obrigadas a respeitar não apenas a Lei portuguesa, mas também o código de práticas e ética da ESOMAR. Ou seja, à partida os resultados das sondagens realizadas por estas empresas são independentes e não influenciados por interesses particulares dos candidatos.
De uma forma geral as sondagens divulgadas na imprensa portuguesa são apresentadas como feitas por encomenda de órgãos de comunicação social (habitualmente consórcios de jornais, rádios e televisões).
Ocasionalmente há referencias a pretensos resultados de "sondagens" internas realizadas por encomenda dos próprios candidatos e/ou partidos políticos concorrentes (não divulgadas publicamente e, como tal, sem que o público tenha acesso às informações técnicas que deveriam constar do seu relatório). Este tipo de informação sobre resultados de pretensas sondagens internas tem, naturalmente, que ser lido com muitas reservas, uma vez que na sua maioria são "fugas de informação" promovidas pelas próprias candidaturas como parte da sua estratégia de campanha. É claro que, em rigor, neste último caso não estamos a falar de sondagens mas de estratégia de comunicação política ...].
4. Read any poll not based on a random sample with extreme caution. 
Many websites and newspapers conduct polls in which visitors are invited to “vote” on a question. Once you vote, you can see the results. Even when thousands have registered their opinions, such polls do not necessarily indicate opinions of the public at large. Only polls in which everyone has an equal chance of being selected permit such a projection.
[A interpretação dos resultados de uma sondagem assenta em dois tipos de inferências: a primeira é a de que as respostas dos entrevistados correspondem, de facto, àquilo que sentem, pensam ou fazem (ver tb. ponto 5.) e a segunda é a de que as pessoas entrevistadas representam as opiniões, atitudes ou comportamentos da população em estudo. O primeiro tipo de inferência está relacionado com aquilo que se mede e com o instrumento que se usa para fazer essa medição (objectivos do estudo e questionário), o segundo está relacionado com os sujeitos que são escolhidos para ser avaliados (amostra).
Assim, naquilo que interessa neste ponto, só podemos fazer inferências válidas para a população se a amostra do nosso estudo for representativa dessa população, ou seja, se a nossa amostra incluir sujeitos que representem na proporção correcta as diferentes atitudes, opiniões ou comportamentos que existem na população que estamos a estudar e em relação ao assunto em questão.
A estatística diz-nos que é possível obter amostras representativas de uma população se escolhermos as pessoas que vão integrar essa amostra de forma totalmente aleatória. Em termos estatísticos só se considera que a escolha foi aleatória se todos os membros da amostra forem seleccionados ao acaso e se todos os membro da população tiverem a mesma probabilidade de ser seleccionados. Por exemplo, o sorteio dos números do concurso Euromilhões é aleatório porque todos os números têm a mesma probabilidade de serem sorteados: há apenas uma bola com cada um dos números, as bolas com os números são exactamente iguais e a sua escolha é feita por um processo mecânico que é precedido da mistura todas as bolas. Se por mero acaso houvesse duas bolas com o mesmo número, ou se não fosse incluída a bola correspondente a determinado número ou, ainda, se algumas bolas fossem de dimensão ou peso diferente, estaríamos perante um sorteio onde um ou mais números teriam mais probabilidades de serem seleccionados do que outros (e vice-versa). Diríamos, nesse caso, que o sorteio estava viciado. Salvaguardadas as diferenças é isso o que se passa numa sondagem em que a amostra não é seleccionada de forma aleatória, uma vez que nestes casos algumas características da população poderão estar sub-representadas (ou, mesmo, não estar representadas na amostra) ou, pelo contrário, estar sobre representadas.
Não é fácil obter amostras totalmente aleatórias (cf. amostragem). Nalguns casos é preciso fazer um compromisso entre aquilo que deve ser feito e aquilo que é viável. Nesses casos o relatório da sondagem deve permitir aos leitores perceber de forma clara qual o impacto dessas "cedências metodológicas" na interpretação e generalização dos resultados obtidos na sondagem para a população.  Mas atenção que isto não tem nada a ver com a margem de erro que é reportada nos relatórios das sondagens. A margem de erro (ou erro de amostragem) é uma estatística que expressa a magnitude do erro (nos resultados de um inquérito) que pode ser atribuível à amostragem aleatória. Ou seja, descreve a precisão dos resultados do inquérito e corresponde à diferença prevista entre os resultados obtidos com a amostra aleatória de pessoas entrevistadas e o valor que se verifica, de facto, na população da qual a amostra foi retirada (só se pode falar de margem de erro ou erro de amostragem nas amostras aleatórias).
No ponto 2. McManus diz que as sondagens são, quanto muito, um mero desenho da realidade. Nos casos em que não se usam amostras aleatórias poderemos dizer estamos a falar de rascunhos ou de pinturas abstractas que só com muito esforço interpretativo se aproximam da realidade.]
5. Look at the wording of questions. 
The Field Poll found that a shorter description of a ballot initiative in the March primary was rejected by a large majority of respondents while a longer description of the same proposition was approved by a large majority. Even subtle differences in wording can have major effects.
[Muitos investigadores têm confirmado que pequenas mudanças na forma como as perguntas são formuladas podem ter um impacto significativo no modo como as pessoas respondem a um questionário (cf. Schuman, H. & Presser, S. 1996). Palavras como normalmente, muitas vezes, às vezes, ocasionalmente e raramente são "normalmente" usadas nos questionários, embora não signifiquem a mesma coisa para todas as pessoas. As expressões  um mandato claro, a maioria, muitos, a grande maioria, uma minoria, uma grande proporção, um número significativo, um número considerável, vários, ..., têm significados muito variáveis e devem ser evitadas em inquéritos, o que nem sempre acontece.]
6. Beware of sub-group comparisons. 
The margin of error reported in most news stories only applies to the entire sample, yet reporters often compare the positions of groups within the sample, such as Republicans and Democrats, males or females, Latinos, Anglos, Asian-Americans and African Americans, etc. The smaller the group, the less accurate the estimation.

[Este aspecto nem sempre está suficientemente clarificado no tratamento noticioso dado pela imprensa aos resultados de sondagens e, por vezes, também nos respectivos relatórios técnicos, induzindo os leitores em erros de interpretação. De facto, a margem de erro está relacionada com a dimensão da amostra. Quando se analisam resultados de sub-grupos da nossa amostra, estamos a usar grupos mais pequenos e, consequentemente, com margens de erro maiores. Por exemplo, uma amostra de 1.068 sujeitos tem uma margem de erro de ± 3%. Se nessa amostra o sub-grupo dos homens for de 501 e o das mulheres de 567, então a margem de erro da sub-amostra das mulheres, com 567 sujeitos,  é de ± 4,12% e a da sub-amostra dos homens, com 501 sujeitos, é de ± 4,38%. Todas as conclusões que se retirarem para estes sub-grupos em particular devem ser interpretadas com estes erros de amostragem e não com aquele que foi identificado para a amostra global.]

7. Look at the number polled.
If fewer than 600 persons respond to a political poll, it may not merit your attention. The margin of error will be large enough that only big differences in opinion can be estimated.Polling is counter-intuitive. Accuracy generally depends on the size of the sample interviewed, not the ratio of the sample to the population at large. A random survey of 1,500 persons can estimate the opinion of hundreds of millions of Americans within a few percentage points of reality. But a similar poll of 300 in a town of 5,000 will have an error margin almost 12 points wide.
[O tamanho da amostra está relacionado com a margem de erro que se pretende aceitar. Por exemplo, numa população de 300 mil eleitores, se quisermos ter uma amostra que assegure uma margem de erro de ± 3% (com intervalo de confiança de 95% e distribuição das respostas de 50%) devemos entrevistar 1064 sujeitos, enquanto a mesma margem de erro numa população de 3 milhões exige uma amostra de 1067 e numa população de 30 milhões de eleitores são suficientes 1068 sujeitos para garantir o mesmo erro amostral. Esta é a razão pela qual a maioria das sondagens tenta obter amostras que estejam próximas de 1068 sujeitos. Trata-se de um número que assegura uma margem de erro aceitável com um número de entrevistas que não "atira" os custos da sondagem para valores demasiado elevados. Se quisermos que a margem de erro seja de ± 2% (numa população de 30 milhões) já seria necessário entrevistar 2401 eleitores. Se o erro pretendido fosse de ±1% o número de eleitores a incluir na amostra já teria que ser de 9601. Se a amostra for inferior a 600 sujeitos como refere o autor (por exemplo  500 sujeitos para a mesma população de 30 milhões de eleitores), então a margem de erro é ±4.38%.
O tamanho da amostra pode ser encontrado de uma forma prática e rápida usando calculadores disponíveis em vários sítios da internet (por exemplo: http://www.raosoft.com/samplesize.html).]
8. Mistrust limited disclosure. 
At a minimum, poll reporting should indicate:·
  • whether the poll was scientific (i.e. respondents were chosen in a way–usually random sampling–that gave everyone an equal chance of being interviewed),·
  • margins of sampling error for each group whose opinion is estimated,·
  • the number polled,·
  • who was polled (adults, registered voters, likely voters, etc.),·
  • how those people were identified (from voter rolls, taking their word, etc.),·
  • the actual wording of  key questions,·
  • the dates of the poll.·
  • who conducted the poll,·
  • who paid for it and any potential for conflict of interest with the subject of the poll.·
  • how the poll was conducted, e.g., telephone interviews using random digit dialing, from voter registration lists, person on the street, etc.·
  • the response rate–those who completed the interview with the pollster divided by the total of those who cooperated plus those who couldn’t be reached and those who refused. (If this ratio dips much below 50%, the poll is not really scientific and margins of error become meaningless.)

Ir para:


1 Comentário

  1. Antonio bandeira diz:

    Impressionante a qualidade academica e a substancialidade dos contendos. Farei contacto pelo endereco electronico.

Deixar uma resposta

Preencha os seus detalhes abaixo ou clique num ícone para iniciar sessão:

WordPress.com Logo

Está a comentar usando a sua conta WordPress.com Log Out / Modificar )

Imagem do Twitter

Está a comentar usando a sua conta Twitter Log Out / Modificar )

Facebook photo

Está a comentar usando a sua conta Facebook Log Out / Modificar )

Google+ photo

Está a comentar usando a sua conta Google+ Log Out / Modificar )

Connecting to %s

Blog Stats

  • 96,313 hits
Seguir

Get every new post delivered to your Inbox.

%d bloggers like this: