Faire des recherches de doctorat, c’est apprendre tous les jours. En partie parce que la formation que l’on reçoit à l’université en bachelier ou en master tend à nous professionnaliser plutôt qu’à nous former à la recherche, ce qui est légitime étant donné le très faible pourcentage de diplômés qui s’engageront par la suite sur la voie académique, et en partie parce qu’on ne peut pas tout connaître de la foule d’outils qui existent.

“Les questionnaires de recherche sont laids”

Par exemple, il m’est venu à l’idée il y a quelques mois que ma thèse aurait un caractère plus humain si je pouvais recueillir l’avis et l’expérience d’Alice qu’ont un certain nombre de lecteurs. Or, moi aussi, je reçois pas mal de questionnaires à remplir via le webmail de l’UMONS, et je les remplis parce que je sais à quel point on peut avoir l’impression qu’on est seul au monde quand on entreprend des recherches. J’ai donc donné mon avis sur les canaux de diffusion de la culture, donné une approximation de ma consommation d’antidouleurs et estimé sur une échelle de un à cinq mon degré de satisfaction quant au revêtement des autoroutes. Je ne mets pas en doute la pertinence de ces études. Le problème, c’est la manière dont elles sont présentées. L’aspect de ces formulaires donne en général l’impression, au mieux, de remplir sa feuille d’impôts, au pire, de tenter d’échapper au goulag. La raison à cela ? Les formulaires qu’on reçoit sont laids.

C’est là qu’on peut remarquer une fois de plus la différence qui existe entre le monde académique et le monde commercial. Quand nous recevons une étude marketing (et nous en recevons un paquet!), le formulaire est toujours joli et dynamique. Ce qui fait que même si le produit qu’on tente de nous vendre ne présente aucun intérêt immédiat, nous avons tout de même l’œil attiré. Lorsque nous recevons un questionnaire à des fins de recherches, il a souvent été codé avec les moyens du bord, parce que les chercheurs n’ont pas les connaissances nécessaires dans le domaine de l’informatique (moi y compris). Les questionnaires de recherche ont invariablement un fond blanc, des cases à cocher bien carrées, et un gros bouton bleu pour confirmer. Bref, c’est très vilain.

À la recherche d’alternatives

Heureusement, il existe d’autres solutions. Ma collègue Jean Roberston de la Faculté de Traduction et d’Interprétation était elle aussi arrivée à la conclusion qu’il fallait chercher de l’aide dans le monde du formulaire user-friendly. C’est pourquoi elle s’est tournée vers FormAssembly (ici), qui est très bien sous tous rapports, notamment les possibilités en termes de modèles de présentation (templates), qui sont pratiquement infinies. Je vous recommande vivement de visiter la page “Featured Templates” sur laquelle on peut voir quelques unes de ces présentations. La prise en main est très aisée puisqu’il existe un tutoriel qui guide vraiment l’utilisateur pas à pas :

Au final, on a un joli formulaire, sympa pour les personnes qui décident d’y répondre, et qui peut être utilisé via les tablettes et autres smartphones. Bien sûr, FormAssembly gère automatiquement les données et produit un rapport statistique. Il y a donc de nombreux avantages à l’utiliser. Cependant, il y a tout de même un bémol : FormAssembly, dans sa version complète, est payant. Les prix ne sont pas abusifs, puisque les quatre formules permettent de trouver une solution rapidement. Par exemple, ils proposent le “Pay as You Go”, qui consiste à payer 0,5$ par réponse reçue. La version basique est à 14$ par mois, ce qui reste relativement raisonnable. [Correction du 28/08 suite au commentaire de Jean Roberston ci-dessous — Il existe cependant une version gratuite sans feuille Excel ou XML mais proposant, comme la version payante, les notifications par e-mail et les rapports et tables en ligne. Pour comparer les différentes options, voir ici et cliquez sur “Full Feature List and FAQ”]

Ceci étant, quand on finance ses recherches soi-même (ou même si elles sont subventionnées), on préfère quand même limiter les coûts au maximum et réserver les dépenses extraordinaires aux colloques à l’étranger et autres livres de référence qu’on ne trouve nulle part sauf sur un site d’enchères en ligne à un prix délirant. Un générateur de formulaires gratuits semble donc la meilleure option, et de préférence, sans publicité.

Typeform

C’est Antoine Besnehard, qui travaille au Centre des Langues Vivantes, qui a tweeté la solution.

C’est comme ça que j’en suis venue à Typeform. L’idée ici n’est bien sûr pas de faire de la publicité pour un site plutôt qu’un autre, mais plutôt de partager ma première expérience des formulaires en ligne. Et je dois bien avouer que je suis satisfaite. Typeform est vraiment user-friendly. Je suis presque convaincue qu’il n’est pas nécessaire d’avoir une quelconque expérience de l’informatique autre qu’Office pour pouvoir en explorer toutes les possibilités.

Les questions sont présentées sous forme de blocs à faire glisser dans votre questionnaire. Presque tout est personnalisable : il est possible de rendre les réponses obligatoires, donner des choix multiples avec l’option “autre”, les possibilités de présentations incluent même l’image de fond et le choix des polices de caractères, on peut y inclure des images et des vidéos, bref, le résultat est forcément joli, et tout ça sans devoir avoir les moindres bases en HTML.

Pour ma part, j’ai choisi une police de caractères un peu fantaisiste (après tout, je travaille sur Alice, tout est permis) et un fond relativement neutre, ce qui donne ceci :

En ce qui me concerne, ça me convient, mais il est bien entendu possible de faire bien d’autres choses.

D’autre part, si les résultats de l’enquête peuvent être consultés directement sur votre compte Typeform, ils peuvent en plus être téléchargés sous forme de feuille Excel, ce qui permet de croiser les données plus facilement.

Mais encore fallait-il trouver un moyen pour obtenir des réponses.

Des réseaux sociaux

En 2013, on ne se pose plus vraiment la question, de prime abord, de savoir comment on va diffuser un questionnaire. “Tout le monde est sur Facebook !”, me dira-t-on. Hé bien non. Moi, par exemple, je n’ai plus de page Facebook (grâce à la page How to Delete Your Facebook Account) parce que je n’adhérais plus aux règles de confidentialité flottantes. Heureusement, mon compagnon a eu la gentillesse de poster un lien vers ce questionnaire sur sa page. Il a 297 amis Facebook. Certains de ces amis ont reposté le lien. Ils ont respectivement 598, 253 et 1015 amis. Ce qui fait un total de 2160 personnes ayant potentiellement vu le lien. Admettons qu’un bon tiers n’utilise pas vraiment Facebook, il nous reste 1440 personnes. Admettons ensuite que trois-quarts de ces personnes n’en aie vraiment rien à faire d’un questionnaire sur Alice, cela nous fait tout de même 360 répondants arrivant directement de Facebook, ce qui reste un nombre franchement satisfaisant.

Or, selon Google Analytics, qui part ailleurs peut fournir quantités de renseignements pertinents aux détenteurs d’un site Internet, seuls 151 de mes visiteurs venaient de Facebook. Ceci implique, d’une part, que ces 151 personnes ont effectivement cliqué sur le lien figurant sur le réseau social, mais n’ont pas forcément répondu au questionnaire (puisque Google Analytics donne la source du trafic vers une page et pas les actions qui y sont menées) et d’autre part, que si ce Facebook est pertinent en terme de circulation d’un lien, il ne garantit en rien que les utilisateurs cliqueront dessus. Ceci est bien entendu dû à de nombreux paramètres — comme la surabondance de liens, le désengagement social sur les réseaux virtuels, l’habitude qu’ont les utilisateurs de réseaux sociaux d’ignorer tout de ce qui ressemble de près ou de loin à du spam, le manque d’intérêt personnel pour Alice au pays des merveilles — qui sont tous fort compréhensibles, et probablement d’autres auxquels je n’ai pas pensé. Ce que ça prouve, surtout, c’est que l’utilisation du réseau social virtuel le plus répandu ne garantit en aucun cas le succès d’un formulaire en ligne.

Et par courriel ?

Il faut donc en revenir aux bonnes vieilles méthodes qui ont fait leurs preuves, à savoir les chaînes des courriels. En ce qui me concerne, je déteste ce type de chaînes dans lesquelles l’expéditeur initial supplie ses destinataires de bien vouloir faire suivre un e-mail à tout leur carnet d’adresse. Cependant, faire des recherches implique des compromis. J’ai donc envoyé le fameux courriel à quelques uns de mes contacts (pas question ici de l’envoyer à des personnes qu’on ne connaît que très vaguement), qui l’ont à leur tour envoyé à leurs contacts. Ce qui n’a apparemment pas trop mal fonctionné, si j’en crois les statistiques que me fournit Typeform.

Puisque la dernière question porte sur l’adresse e-mail des répondants, afin de garantir l’authenticité de l’étude (adresses qui ne seront bien entendu révélées à aucune tierce partie), il m’est facile de voir le cheminement de mon courriel de départ. En effet, les noms des domaines se répètent selon un schéma relativement constant. Par exemple, une connaissance m’a dit qu’elle avait envoyé ma demande à un membre de sa famille qui travaille dans une agence publicitaire. Pour cette date, il existe cinq formulaires comportant des adresses e-mail ayant pour nom de domaine le nom de cette agence publicitaire, et quatre adresses ayant des noms de domaine différents mais ressemblants. J’en conclus donc que cette personne a fait suivre l’e-mail d’origine à ses collègues et partenaires commerciaux.

L’e-mail circule donc. Les réponses sont moins massives que via Facebook, mais elles s’inscrivent plutôt dans la durée. Les utilisateurs de Facebook qui ont répondu à mon questionnaire l’on fait au cours des deux heures suivant la publication du lien sur leur réseau social, alors que les réponses consécutives à la chaîne de courriels continuent à arriver plus de soixante-douze heures après l’envoi du mail.

“Le sondage est le jeu de mots des chiffres” (Albert Brie)

Me voilà donc aujourd’hui, le 22 août 2013. Mon questionnaire a été lancé il y a quatre jours et a obtenu 250 réponses. J’ai été contrainte d’en supprimer trois parce que les adresses e-mail fournies étaient du style “pasdemail@gmail.com” (pour la plus polie) et ne pouvaient pas garantir que les formulaires concernés avaient été remplis par des personnes réelles.

Obtenir 247 réponses, ce n’est déjà pas si mal. Mais comment savoir si c’est suffisant ? Des tendances se dégagent bien entendu des chiffres dont je dispose déjà, mais est-ce assez ? Quel est le nombre “à atteindre” pour qu’une étude soit pertinente ?

J’ai cherché des réponses un peu partout sur la toile. Les premiers avis sur lesquels on tombe sont ceux des spécialistes du marketing. Selon ceux-ci, une étude est considérée comme une réussite si au moins 50% des personnes sollicitées ont répondu au questionnaire en ligne. Cette vision des choses nous pose deux problèmes :

1- La recherche en sciences humaines n’est pas du marketing ;
2- Il est impossible, vu les méthodes de diffusion employées dans le cadre du présent questionnaire, de déterminer combien de personnes ont effectivement été sollicitées ;

J’ai ensuite pu me rendre compte qu’il était très difficile de déterminer combien de réponses pouvaient garantir la validité d’une étude en sciences humaines, en raison du manque de littérature sur le sujet. En ce qui me concerne, je me suis fixé comme objectif d’atteindre les 1000 réponses. Voilà qui peut paraître énorme et délirant, mais je pense que c’est faisable. Je n’ai pas besoin des données que me fournira le questionnaire dans l’immédiat ; je peux donc me permettre d’attendre un peu. Je ne connais bien sûr pas 1000 personnes (et honnêtement, je ne sais pas où les trouver), mais à l’échelle de la Francophonie, ça ressemble vraiment à une goutte d’eau dans l’océan.

Article publié pour la première fois le 22 août 2013 sur Found in Wonderland (à présent hors ligne).

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s