Durant la préparation de son budget, le gouvernement du Québec a réalisé une consultation en ligne. Afin de prendre le pouls de la population sur les défis de l’heure tout en alimentant la réflexion du gouvernement sur les choix budgétaires à effectuer, pouvait-on lire.
Plusieurs, dont moi, avaient critiqué la démarche employée. On peut lire une partie du débat parmi les commentaires de ce billet sur le site de Michael Carpentier.
Personnellement, je trouvais que le questionnaire ne répondait pas aux exigences d’une véritable consultation en dirigeant les questions vers des réponses pré-formatées. Comme s’il ne s’agissait que d’un exercice d’auto-justification.
La lecture du discours sur le budget (pdf), présenté hier à l’Assemblée nationale semble confirmer cette impression:
Monsieur le Président,
C’est sur cette toile de fond que j’ai préparé mon troisième budget.
Nous avons beaucoup consulté les Québécois. Près de 4 500 Québécois se sont
exprimés lors des consultations par Internet. Il s’agit d’une participation record.
(page 7)(…)
Plus de 70 % des participants aux consultations en ligne sont d’avis qu’en temps
de récession, des déficits budgétaires sont nécessaires pour protéger les emplois
et les services aux citoyens. Nous sommes de cet avis.
(page 9)
Je crois que notre culture politique à mal, très mal. Et je déteste qu’on prenne la population pour des idiots, en jouant ainsi sur les mots et les concepts.
Certains espèrent que les nouvelles technologies et le web 2.0 changeront les rapports du gouvernement avec la population. On est loin encore très loin de ce jour.
Tout ça pour ça ! C’est vraiment décevant…
Si on ne parle pas des autres questions, est ce parce que les réponses ne correspondent pas aux décisions prises ?
J’aurais bien aimé retrouvé la question sur la nécessité du déficit, juste pour voir comment la question était formulé…
Tout ça pour ça ! C’est vraiment décevant…
Si on ne parle pas des autres questions, est ce parce que les réponses ne correspondent pas aux décisions prises ?
J’aurais bien aimé retrouvé la question sur la nécessité du déficit, juste pour voir comment la question était formulé…
Même si on ignore toutes les autres considérations, la méthode d’échantillonnage qui a mené à ces 4500 réponses est tellement douteuse, que jamais un sondeur sérieux ne songerait à utiliser ces résultats dans un quelconque communiqué officiel. Corrigez-moi si je me trompe, mais cette étude se basait sur une auto-sélection complètement volontaire. Toute personne qui s’intéresse aux méthodes de recherche des sondages d’opinion devrait savoir que ce genre d’échantillonnage est très peu fiable, même si on a 4500 répondants. C’est d’ailleurs une tendance lourde dans beaucoup de sondages Internet. L’extrait suivant (en anglais, désolé) résume le tout:
« One common type of convenience sample produces surveys that researchers call self-selected opinion polls, or SLOP surveys. As the name suggests, the sample in a SLOP survey is not selected randomly. Instead, individuals choose whether to participate. Margin of sampling error cannot be estimated for a SLOP poll, no matter how large. […] The people who agree to participate may be different than those who do not.
Researchers have learned, often to their great embarrassment, that these types of samples often produce flawed results. Respondents who volunteer to participate in such surveys tend to be more extreme or otherwise very different in their views than those who do not. In no way can they be said to be representative of the population, so the survey results cannot be used to say anything useful about a target population.
The Internet is awash with SLOP polls that invite people to answer a question and then view the results. In addition to attracting only those with an ax to grind on a particular issue, even the best Internet-derived convenience samples currently tend to include too few older people, minorities and less affluent, less well educated. In short, they tend to miss people who don’t have access to a computer or an Internet connection. These surveys also invite manipulation, as a number of news organizations have learned to their dismay. »
(http://www.aapor.org/badandworsesamples)
Même si on ignore toutes les autres considérations, la méthode d’échantillonnage qui a mené à ces 4500 réponses est tellement douteuse, que jamais un sondeur sérieux ne songerait à utiliser ces résultats dans un quelconque communiqué officiel. Corrigez-moi si je me trompe, mais cette étude se basait sur une auto-sélection complètement volontaire. Toute personne qui s’intéresse aux méthodes de recherche des sondages d’opinion devrait savoir que ce genre d’échantillonnage est très peu fiable, même si on a 4500 répondants. C’est d’ailleurs une tendance lourde dans beaucoup de sondages Internet. L’extrait suivant (en anglais, désolé) résume le tout:
« One common type of convenience sample produces surveys that researchers call self-selected opinion polls, or SLOP surveys. As the name suggests, the sample in a SLOP survey is not selected randomly. Instead, individuals choose whether to participate. Margin of sampling error cannot be estimated for a SLOP poll, no matter how large. […] The people who agree to participate may be different than those who do not.
Researchers have learned, often to their great embarrassment, that these types of samples often produce flawed results. Respondents who volunteer to participate in such surveys tend to be more extreme or otherwise very different in their views than those who do not. In no way can they be said to be representative of the population, so the survey results cannot be used to say anything useful about a target population.
The Internet is awash with SLOP polls that invite people to answer a question and then view the results. In addition to attracting only those with an ax to grind on a particular issue, even the best Internet-derived convenience samples currently tend to include too few older people, minorities and less affluent, less well educated. In short, they tend to miss people who don’t have access to a computer or an Internet connection. These surveys also invite manipulation, as a number of news organizations have learned to their dismay. »
(http://www.aapor.org/badandworsesamples)