Sondages : peut-on s’y fier ?

Les résultats de l’élection présidentielle américaine, après le choc du Brexit, ont mis à mal la crédibilité des sondages. Servent-ils encore à quelque chose ? Éléments de réponses avec les professionnels du secteur et des analystes.

Les instituts de sondages sont sur la sellette. Ils avaient prédit un rejet du Brexit et une victoire d’Hillary Clinton. Résultat des urnes : ils se sont trompés sur toute la ligne. Cela signifie-t-il qu’on ne peut pas faire confiance aux sondages ? Ont-ils encore une quelconque utilité ?

« Oui, on peut se fier aux sondages », affirme sans hésiter Amédée Darga, directeur de StraConsult. Cette affirmation est toutefois immédiatement suivie d’un « mais »… « Il faut toujours se rappeler qu’un sondage est une photographie d’un moment précis », précise-t-il. Dans le cadre d’élections, entre le moment où est réalisé le sondage et la date du vote, les résultats peuvent changer. À cela s’ajoute la marge d’erreur inhérente à tout sondage, rappelle le directeur de StraConsult : « La marge acceptable est de 3 %. D’un côté ou de l’autre, dans une élection, cela peut faire la différence. »

Katouskia Sawmy, responsable du marketing chez l’agence de sondages Kantar TNS, fait aussi ressortir qu’« il y a toujours une marge d’erreur à prendre en considération, il ne faut jamais la négliger ». Tout comme il ne faut pas négliger « le taux de confiance dans les interprétations » : « Les sondés ne disent pas toujours ce qu’ils pensent. Il faut donc une approche de triangulation et vérifier les données de plusieurs sources crédibles. »

La clé, c’est sans aucun doute l’interprétation. « Il est primordial de s’interroger sur la manière dont les données récoltées sont ensuite traitées, explique Christina Chan-Meetoo, chargée de cours en médias et communication à l’université de Maurice. Il faut lier les données et orienter leur tri. On peut faire dire tout ce qu’on veut avec des statistiques. » Katouskia Sawmy abonde dans son sens : « Le big data, sans prendre en compte le contexte, peut amener de fausses interprétations. »

L’échantillonnage est la clé

Qu’est-ce qui fait qu’un sondage est valable et représente de manière fidèle l’opinion de la population ? Nos interlocuteurs s’accordent à dire que l’échantillonnage demeure la clé. « Les personnes interrogées doivent être représentatives de la population, explique une source à Statistics Mauritius. Il doit y avoir la bonne proportion d’hommes, de femmes, de jeunes, de personnes aisées. Il faut aussi couvrir toutes les régions géographiques. »

Des erreurs dans l’échantillonnage, ou de « granulation » pour reprendre le terme qu’utilise Amédée Darga, peuvent être lourdes de conséquences. Jean-Pascal Gross, Marketing & Business Development Manager chez DCDM Research, explique qu’il peut y avoir « deux types d’erreurs quand on fait un sondage. D’abord, il y a la sampling error qui arrive en amont. Elle est liée à la couverture de la population et la taille de l’échantillon. La non-sampling error est plus floue et dépend largement du sérieux du sondeur et de son personnel. »

À ce niveau, c’est l’erreur humaine qui peut donc faire dérailler un sondage. Katouskia Sawmy dresse une liste non exhaustive de ces erreurs possibles : « Un questionnaire biaisé ou trop long, des enquêteurs mal formés, une maquette qui manque d’intelligence, le contrôle de qualité sur le terrain, s’assurer que les points de départ sont respectés et qu’il n’y a pas de tricheries… »

Notre source à Statistics Mauritius ajoute qu’il est important que le sondeur « évite de mettre des mots dans la bouche des gens », la formulation des questions devant être neutre. Pour Amédée Darga, il y a bien une méthode de sondage qui est plus fiable que les autres et permet de minimiser les risques d’erreurs :

« Les sondages les plus fiables sont ceux qui se font en face-à-face. Mais c’est aussi la méthode la plus chère. »  C’est une méthode qui a aussi ses problèmes, estime Christina Chan-Meetoo. Par exemple, la question peut en soi être leading et contenir des réponses. « Qui pose ces questions et comment ? Parler directement aux gens a ses avantages et ses inconvénients. On peut chercher à donner une réponse afin d’être bien vu par l’intervieweur. »

Lindsay Rivière, ex-directeur de Sofres : «Les sondages au téléphone sont moins fiables»

Dans quelle mesure peut-on faire confiance aux sondages?
Les sondages sont fiables. Tout repose sur l’échantillonnage. Aux États-Unis, ils interrogent 1 000 personnes sur 300 millions d’Américains. Nous, on prenait 600 sur 1,2 million de Mauriciens. C’est un petit échantillon. L’échantillon est une photographie exacte de la population. Il y a tout un système de quota. C’est la partie cruciale. Si parfois on se trompe, c’est là qu’il y a erreur. Mais si c’est bien fait, 600 personnes peuvent vous dire quelle est l’opinion publique à Maurice. Il faut interpréter avec plus de prudence. Toutefois, il y a des situations où les sondages peuvent être faussés : c’est quand les gens ne répondent pas sincèrement. Plus le sujet est sensible, plus il y a des risques que les gens ne disent pas le fond de leur pensée.

Est-ce parce qu’ils ont honte ?
Cela pourrait embarrasser des gens d’avouer être partisan de Donald Trump quand il y a autant de choses négatives sur lui. Dans les sociétés européennes et américaines, cela se fait plutôt par téléphone parce qu’il y a un réseau très élaboré. Mais dans des sociétés moins évoluées, cela fait plus peur. On ne va pas dire au téléphone pour qui on va voter. À Sofres, j’ai toujours conduit des sondages en face-à-face. C’est beaucoup plus facile de mentir au téléphone. En face-à-face, vous avez accueilli la personne dans votre maison. Cela coûte plus cher mais il y a plus de confiance. Les sondages au téléphone sont, pour moi, moins fiables. Il ne faut pas trop lire dans les sondages non plus. Ils constituent une photographie de l’opinion à un moment donné. Si vous faites un sondage politique à une semaine des élections, cela peut donner un résultat.

À deux jours des élections, avec les émotions dans l’air, cela peut changer. À Maurice, il y a 40 % de floating voters qui peuvent bouger. En décembre 2014 par exemple, l’élection s’est jouée les deux derniers jours.

Un sondage peut-il influer sur l’issue d’une élection ?
Cela peut avoir un gros impact. Voilà pourquoi certaines sociétés veulent légiférer sur les sondages. Les gens aiment jouer gagnant. Il vaut mieux être partisan de Manchester United que Wolverhampton Wanderers. Les gens aiment être dans le camp de la victoire. C’est ce qui fait le malheur des petits partis. D’où la question : est-ce que c’est correct de laisser faire des sondages très près des élections ?

La technologie et les outils

Les entreprises de sondage ont recours aux données de Statistics Mauritius, surtout celles sur le recensement. « La Statistics Act régule la façon dont nous procédons pour collecter et publier ces données, explique notre source à Statistics Mauritius. Le questionnaire pour tout nouveau recensement doit être approuvé par le Conseil des ministres et ensuite le Parlement. Ensuite, le président doit l’approuver avant qu’il ne soit gazetted. »

Selon notre interlocuteur, depuis quelques années, notamment pour les enquêtes de marché, c’est surtout le téléphone qui est utilisé comme méthode de sondage, car c’est moins coûteux. Comme l’explique Amédée Darga, « au lieu de payer Rs 400 000 pour un sondage, vous payez Rs 200 000, mais c’est comme les chaussures chinoises que vous payez bon marché. Cela dépend de ce que demande le client. L’entreprise de sondages fait du business après tout ».