Test A/B : n’arrêtez pas avant d’avoir assez attendu

Une des grandes questions que se posent nos clients lorsqu’ils font appel à nous est : « Quand est-ce qu’un test A/B ou multivarié doit s’arrêter ? » OU « A partir de quel moment est-on sûr d’être sûr du résultat ? »

Questions simples, mais réponses compliquées !

Première remarque : il est, la plupart du temps, malvenu d’arrêter un test en cours si ses résultats sont négatifs ou supposés négatifs. Mais c’est une réaction normale que l’on peut comprendre : voir la courbe d’un test s’effondrer peut signifier (en e-commerce) une perte de chiffre d’affaires. Grande est dès lors la tentation de stopper le test ou de le modifier et de passer à un autre test.

Première leçon : ne pas se fier aux apparences

C’est d’après moi une erreur.

Ou du moins, une erreur, tant que la question n’a pas été plus approfondie. Pour cela, il est indispensable de se pencher plus en avant sur les données dont on dispose. Je le montrerai à travers un exemple d’un test sur un site dont je ne peux citer le nom, mais qui prouve bien, cependant, qu’il faut savoir attendre, et pas seulement pour des raisons statistiques.

L’indice de confiance des logiciels de tests est intéressant dans la mesure où il donne une vue mathématique d’une expérience en cours. En gros, il considère qu’à partir d’un certain volume de données, le résultat peut être considéré comme fiable. L’inconvénient, ou en tout cas, l’erreur, serait de croire qu’il serait entièrement fiable d’un point de vue commercial, et cela pour une bonne raison : l’indice de confiance si le test n’est pas suffisamment calibré ne peut pas prendre en compte les différences intrinsèques du trafic testé.

Je m’explique. Dans le test dont je parle, le trafic n’était pas suffisant pour mettre en place un test multivarié alors que beaucoup d’éléments devaient être testés. Je me suis donc rabattu sur un test A/B en privilégiant une hypothèse précise. Il me fallait prendre tout le trafic possible pour obtenir suffisamment vite le résultat de mon test. Le but d’un test n’est pas, n’est-ce pas, de durer plusieurs mois.

Courbe de résultats du site testé

Courbe de résultats du site testé

Au bout de quelques jours, comme vous pouvez le voir sur la courbe ci-dessus, la version gagnante semblait être la version de contrôle (et non pas la version de test). Mais en y regardant de plus près et en croisant les données avec Google Analytics, je me suis aperçu qu’il y avait beaucoup plus de visiteurs anciens dans le trafic de la nouvelle version que de visiteurs nouveaux, introduisant par là un biais dans le résultat. En effet, qui dit « plus de visiteurs anciens » dit plus de résistance au changement et donc propension à moins convertir. J’appelle ça l’effet d’accoutumance. Et malgré un indice de confiance suffisant de la part du logiciel de test, il fallait donc attendre que le trafic s’équilibre entre visiteurs anciens vs nouveaux.

Et effectivement, au bout de quelques jours, la tendance s’inversait définitivement au profit de la version B (la nouvelle version donc). Il me suffisait alors ensuite de contrôler à nouveau la répartition du trafic entre anciens et nouveaux visiteurs pour être certain de mon résultat.

Donc en cas d’un constat de moindres performances sur les variations testées, ne paniquez pas. Vous risquez d’arrêter le test trop tôt, de tirer des conclusions hâtives et de ne pas retirer les bénéfices de la version gagnante. Demandez-vous d’abord si le trafic impliqué dans le test est correctement distribué entre les versions. Regardez si les répartitions suivantes sont quasi-égales selon les variations : nouveaux visiteurs / anciens visiteurs, sources d’acquisition, résolution d’écran, navigateurs, dispositifs utilisés (ordinateurs, tablette, mobile), visites des pages promotions, utilisation du moteur de recherche, etc.

Deuxième leçon : toujours aller plus loin

Ceci étant dit, il me semble également très important d’ajouter qu’un test ne doit pas être regardé qu’à l’aune de son objectif principal.

Dans le cas précédent, il s’agissait de tester une fiche produit. Les indicateurs intéressants pour la fiche produit sont souvent le taux d’ajout au panier, puis, ensuite le taux de conversion et la valeur par visiteur. Cela permet de voir, si effectivement, une amélioration de la performance de la page a lieu.

Sans pouvoir vous dévoiler la maquette, voici les modifications auxquelles nous avions procédées.

  • Augmentation de la visibilité des éléments de rassurance sous le bouton « Ajouter au panier »
  • Amélioration de la visibilité du nom du produit
  • Amélioration de la visibilité du stock
  • Amélioration de la visibilité du prix

Ces quatres éléments, vous le constaterez avec moi, tendent vers une meilleure rassurance et une meilleure information sur la fiche produit. Ce sont des facteurs extrêmement important pour augmenter la conversion.

Les résultats à la fin du test ont été probants :

+ 14 % en taux de transfo et ce, malgré une baisse de 1,4% du taux d’ajout au panier

Que s’est-il passé ?

Premier point : malgré une baisse du taux d’ajout au panier, on constate une augmentation de 9% de la validation du panier pour les personnes ayant vu la nouvelle fiche produit.

Deuxième point : on discerne très nettement dans le trafic des visiteurs ayant la version de test une augmentation des visites vers les pages de rassurance (+15% environ). Effet indirect ou induit, ces mêmes testeurs vont moins solliciter la page de contact.

Troisième point : une meilleure information entraîne un meilleur engagement des visiteurs avec une très nette augmentation de pages vues par visites, ainsi qu’un taux de retour (de visite) en augmentation également.

Comme vous pouvez le voir, ce test simple nous a permis d’en apprendre beaucoup sur le comportement des utilisateurs et nous a permis de découvrir de nouvelles pistes d’optimisation : amélioration des informations sur les pages produits et services notamment.

Il nous a aussi montré qu’il n’est pas possible de ne pas attendre suffisamment longtemps la conduite du test, car trop d’éléments humains entrent en jeu pour se contenter d’un résultat obtenu en moins de 2 semaines.

Tester consiste donc à bien mesurer les effets de bord et à être patient.

Commenter l'article

Quoi de neuf dans Visual Website Optimizer ?

idea_factory

Nous avons pu assister en interne au dernier webinar de Wingify, maison fondatrice de Visual Website Optimizer, notre outil d’A/B testing préféré.

Et quand on parle d’A/B testing, on parle évidemment bien de tests multivariés, split test, etc.

Trois nouveautés majeures au rendez-vous.

Une refonte complète de l’interface

Que ça ait un impact ou pas sur l’efficacité de ceux qui font les tests tient du domaine du possible. Toujours est-il que la nouvelle interface de VWO semble plus ergonomique, plus conviviale, et surtout adaptée au mobile. De là à piloter des campagnes de tests depuis son smartphone, il n’y a qu’un pas que nous franchirons allègrement dès que l’occasion nous en sera donnée.

La segmentation des résultats

Beaucoup plus importante est la possibilité désormais de pouvoir segmenter les résultats d’un test et donc d’en affiner la lecture. C’est une évolution que nous attendions depuis longtemps et qui va permettre d’améliorer le conseil et le testing dans le long terme en permettant une analyse plus fine.

Exemple simple : il deviendra possible de mesurer l’impact d’une évolution sur tablette ou desktop dans le même test. Mais cela n’est qu’un exemple. Ainsi pour un même test pourra-t-on aussi mesurer quelles sont les sources de trafic qui convertissent le mieux. Cela pourra être décliné à toutes les sauces : nombres de visites, valeurs dans un cookie, nouveaux visiteurs, etc… Les possibilités qui s’ouvrent à l’analyse sont immenses.

variations_chart

Les tests d’applis mobiles

Enfin, et c’était la grosse surprise du Webinar, il va aussi être désormais possible de faire du test d’applications mobiles. Pour l’instant, cette option est encore en bêta, mais elle est extrêmement prometteuse dans un domaine où le test était impossible. Réservé à iOS, nulle doute qu’elle sera aussi disponible prochainement pour Android. Et pour vous faire patienter, vous pourrez vous faire une idée de l’outil sur le screenshot ci-dessous.

ios_testing

Au vu de toutes ces nouveautés, et si l’envie vous prend d’optimiser votre site, n’hésitez pas à nous contacter pour en savoir plus.

Commenter l'article

INTERFACES : L’INTERACTIVITÉ TECHNIQUE ET SOCIALE

Comment le rôle assigné aux interfaces, leur place, leur design ont-ils évolué au cours de l’histoire de l’informatique ? Quelles sont les grandes ruptures et continuités ?

De quelle manière le design d’interaction peut-il améliorer l’engagement et la participation sur les différents supports ? Complexité technique et simplicité d’usage progressent-elles de concert quand tout semble les opposer ? Avec quelles limites et quels choix ? L’interaction technique simplifiée est-elle synonyme également de simplicité d’interaction sociale ?

interface

Nous aborderons ces questions le mercredi 18 juin 2014 de 19.00 à 21.00 avec

- Etienne CANDEL, Maître de conférences, GRIPIC – CELSA Université Paris-Sorbonne

La culture aux sentiers qui bifurquent
L’écriture des médias informatisés comme relecture de la culture

- Jean-François MARTI, Président de Nealite, agence de conseil en design d’expérience utilisateur et ergonomie du Web

- Geoffrey DORNE, graphiste et UX designer, blogueur sur graphism.fr

- Benjamin THIERRY, Enseignant à Paris-Sorbonne (Espe de l’Académie de Paris) Historien de la Communication Homme-Machine et de l’ergonomie

Retours sur la guerre des interfaces ou comment la simplicité française s’est inclinée devant l’universalité américaine (1978-1995

La séance se tiendra à l’Institut des sciences de la communication du CNRS, 20 rue Berbier-du-Mets, métro Gobelins.

Elle est co-organisée par

le pôle Trajectoires du numérique de l’ISCC

(http://www.iscc.cnrs.fr), séminaire Histoires de l’Internet (Fanny Georges et Valérie Schafer)

l’équipe Médias, Cultures et Pratiques Numériques de l’Université Paris 3

(http://www.univ-paris3.fr/mcpn-medias-cultures-et-pratiques-numeriques–24349.kjsp)

&

le Social Media Club (http://socialmediaclub.fr)

Nous vous espérons nombreux.

Merci par avance de nous signaler votre venue à : contact [at] socialmediaclub.fr

Commenter l'article

Pour comprendre le consommateur digital, mimez-le !

Vous voulez adopter une stratégie digitale, restructurer votre organisation en conséquence et séduire les consommateurs sur leur terrain numérique ? Jouez à Candy Crush et à FarmVille ! Peu importe que ces jeux ne présentent aucun intérêt à vos yeux. Si des millions de personnes (et donc autant de clients potentiels) s’adonnent à cette distraction, suivez la marche. Mettez-vous dans leur peau, et apprenez à les comprendre.

 

C’est l’un des messages martelé avec beaucoup d’humour par Scott Stratten, conférencier star du marketing digital lors de son intervention au New South Digital Marketing Conference de 2012. Un message qui traduit finalement une transformation de taille : il y a quelques années, les entreprises imposaient au grand public les canaux de diffusion de leur message promotionnel. Aujourd’hui ce sont elles qui doivent s’aligner sur les usages numériques du consommateur si elles souhaitent interagir avec lui.

Or trop d’entreprises sont loin d’avoir accepté ou même réalisé cette transition. Preuve de ce conservatisme : la volonté encore tenace des grands groupes à encadrer et à contrôler les pratiques numériques de leurs employés. Les uns sont coupés de Facebook ou de Gmail, les autres se voient interdire l’utilisation de leur matériel personnel, les troisièmes n’ont pas accès aux services de partage de fichiers sur le web, d’autres encore voient leurs ports USB boqués,… Et la liste est loin d’être exhaustive.

Tout cela est contre-productif. Car plus les employés utiliseront les outils du grand public, plus leur entreprise sera à même d’offrir des services digitaux adaptés aux consommateurs. Les collaborateurs doivent être les premiers à les tester et à devenir leurs ambassadeurs. Sans eux comment s’imprégner de la culture et des habitudes des clients sur les réseaux sociaux, la mobilité ou le web ?

Blog

Cette entrave à la libération des pratiques numériques est souvent due à trois forces en présence dans les organisations. A commencer par les équipes en charge de la sécurité. Lesquelles cherchent logiquement à limiter l’ouverture du SI sur l’extérieur. Viennent ensuite les ressources humaines, pour qui réseau social rime nécessairement avec chute de la productivité. Enfin, les services marketing ont eux aussi leur part de responsabilité. Comme le sous-entend Scott Stratten, les CMO restent à la traîne des dernières plateformes sociales en vogue. Ceci se vérifie quotidiennement… Demandez à une assemblée de responsables marketing ceux qui ont déjà utilisé Snapchat ou Pinterest, vous pourriez être surpris du résultat !

Les entreprises ne se mettront donc sur les rails du marketing digital qu’en changeant de mentalité. Quitte à bousculer leur organisation et à accorder plus de crédit à certains profils sous-estimés. Je veux parler des « early adopters », cette jeune population absente du top management. Ces geeks, il faut pouvoir les identifier. Puis les écouter, les observer et s’en inspirer pour développer de nouveaux services. Reste que cette valorisation interne des early adopters est délicate à mettre en place dans les organisations pyramidales et très hiérarchisées.

Autre verrou à faire sauter : les réticences liées au BYOD (Bring Your Own Device). Le système d’information marketing doit refléter les usages du grand public. Or on l’a vu plus haut, le BYOD permet justement d’ancrer ces usages dans l’entreprise. Equipé d’une tablette, le vendeur d’une grande enseigne d’électroménager parlera ainsi d’égal à égal avec un client connecté via son smartphone sur le site de l’enseigne. Il disposera sous la main de toutes les caractéristiques produit ainsi que des informations de stock et de livraison.

Cette ouverture sur le BYOD, et surtout la prise de conscience qui en découlera, devrait également mettre les entreprises à l’abri d’aberrations trop souvent constatées sur le terrain. Par exemple, créer des intranets sur SharePoint ou des espaces de recrutement illisibles par une tablette ou un smartphone.

Pour autant le tableau n’est pas aussi noir qu’on pourrait le croire. Une grande banque française vient, enfin d’ouvrir Facebook à ses employés. Par ailleurs plusieurs grands groupes rivalisent déjà d’ingéniosité pour créer astucieusement le buzz autour de leurs produits sur les réseaux sociaux. A l’image du jeu organisé par Volkswagen sur Twitter autour de sa Polo ou de Monoprix qui souhaite permettre à ses clients de payer en Bitcoins avant fin 2014. D’autres acteurs plus petits s’essaient même à des campagnes de recrutement sur Snapchat (en l’occurrence l’agence créative DDB Oslo).

Mais on l’aura compris, la conversion au marketing digital ne se fera pas sans un nouvel état d’esprit doublé d’une réorganisation interne, et sans la volonté d’entretenir un certain mimétisme avec les pratiques numériques du consommateur.

Chronique de Romain Chaumais, Co-fondateur d’Ysance et directeur des opérations et de Soria Boucebaine, Responsable RH Ysance - Mai 2014 

Commenter l'article