Les Tests A/B/X sont un outil essentiel en marketing digital pour évaluer différentes versions de vos campagnes et savoir laquelle offre les meilleures performances sur un échantillon de vos contacts afin, finalement, d’afficher le contenu qui obtient les meilleurs résultats.
Dans cet article, vous apprendrez ce que sont les tests A/B/X, leurs avantages et comment les configurer dans Connectif.
1. Propriétés
1.1. Propriétés du Nœud "Démarrer un Test A/B/X"
- Le Nœud "Démarrer un Test A/B/X", de type Action, est utilisé pour déclencher le début d’un test A/B/X dans un workflow. Dans l’interface du nœud, vous configurez les paramètres du test qui aideront à déterminer la branche gagnante.
- Le Nœud "Démarrer un Test A/B/X" permet de tester différentes versions d’un contenu (Email, Popup, Inline, etc.) sur un petit échantillon de notre liste de contacts. Cela permet d’analyser, sur ce petit échantillon, quelle variation du contenu obtient les meilleurs résultats (plus d’ouvertures, de clics, d’achats, etc.) et d’afficher le contenu le plus performant au reste des contacts de la liste.
1.1.1. Mode de fonctionnement
Pour réaliser ces Tests A/B/X, nous devons différencier 2 modes de les exécuter : pour les Actions Massives ou pour les Actions Transactionnelles.
- Actions Massives : cela fait référence aux campagnes marketing qui impliquent d’effectuer une action de manière massive pour un grand nombre de contacts (ce qui peut être toute notre liste de contacts), à un moment donné. Le meilleur exemple est l’envoi d’une newsletter promotionnelle par email.
- Actions Transactionnelles : ces actions sont effectuées de manière ponctuelle et individuelle. Elles dépendent uniquement du contact lui-même. Un exemple pourrait être d’afficher une fenêtre modale au contact lorsqu’il navigue sur notre boutique en ligne en lui offrant une réduction. Cette fenêtre modale s’affichera, évidemment, uniquement lorsque le contact navigue sur notre site web, donc il est nécessaire d’ajouter un nœud de type déclencheur avant le Nœud "Démarrer un Test A/B/X".
La différenciation de ces deux modes est importante car le Nœud "Démarrer un Test A/B/X" se comporte différemment selon le scénario à mettre en œuvre. Voyons cela avec deux exemples :
- Exemple d’une Action Massive
-
- Dans ce mode de fonctionnement, nous devons d'abord envoyer 1 000 emails à nos contacts, avec 50 % d'entre eux recevant le design "A" et les 50 % restants le design "B", en mettant en attente les autres 9 000 contacts.
- Pendant cette journée, nous comptabiliserons les clics générés par chaque contenu, et le lendemain, nous prendrons ces 9 000 contacts que nous avions mis en attente et leur enverrons l’email avec le contenu qui a obtenu le plus de clics.
- Le fait de "mettre en attente X contacts" est ce qui distingue ce mode de fonctionnement Massif du mode de fonctionnement Transactionnel.
- Exemple d’une Action Transactionnelle
-
- A priori, nous ne pouvons pas anticiper combien de personnes vont abandonner leur panier en 3 jours, donc il ne serait pas très logique d’envoyer 500 notifications push avec le design "A" et 500 autres avec le design "B".
- À la place, ce que nous devons faire, c’est envoyer à chaque contact qui abandonne un panier pendant ces 3 jours une notification push avec un design "A" ou "B" choisi de manière aléatoire (avec 50 % de chances chacun).
- Ici, aucun contact n’est "mis en attente" ; pendant ces 3 jours, tous les contacts reçoivent une notification push lorsqu’ils abandonnent leur panier.
- Passés ces 3 jours, nous déterminerons lequel des deux designs a le meilleur taux de conversion et, à partir de là, nous enverrons ce design gagnant à toute personne qui abandonne un panier.
1.1.2. Restrictions
Ce nœud est particulier, car il impose certaines restrictions au Workflow :
- Un seul Nœud "Démarrer un Test A/B/X" est autorisé par flux.
- Toutes les connexions sortantes à partir d’un Nœud "Démarrer un Test A/B/X" appartiennent toujours à une branche du test.
- Il n’est pas possible d’interconnecter les branches sortantes d’un Nœud "Démarrer un Test A/B/X".
- Il n’est pas possible de connecter des nœuds précédents au "Démarrer un Test A/B/X" à un nœud ultérieur, c’est-à-dire à un nœud situé dans une branche du test.
- Si un workflow contient un Nœud "Démarrer un Test A/B/X", il sera toujours classé comme un workflow Classique.
1.2. Phases d’un Test A/B/X
Selon les exemples expliqués dans le point précédent, on peut déduire qu’un test A/B/X comporte 2 phases :
- Phase d’Échantillonnage, dans laquelle nous testons des actions marketing auprès de certains de nos contacts, ce qui nous permet de collecter des métriques et des statistiques pour savoir quel contenu obtient les meilleurs résultats dans un certain domaine.
- Phase Finale, qui suit la phase d’échantillonnage, où nous savons déjà quelle action marketing est la meilleure, et c’est celle que nous utilisons pour l’ensemble de notre liste de contacts.
Le moment où l’on détermine l’option gagnante est crucial : il faut choisir un bon moment pour avoir un échantillon suffisant, tirer des conclusions pertinentes et pouvoir choisir de manière fiable l’action marketing gagnante, mais il ne faut pas non plus attendre trop longtemps.
Dans Connectif, il est possible de voir dans quelle phase se trouve un test A/B/X dans la partie inférieure du Nœud "Démarrer un Test A/B/X" :
1.3. Propriétés du Nœud "Évaluer Branche A/B/X"
- Pour pouvoir déterminer la branche gagnante d’un Test A/B/X, Connectif permet d’ajouter ou de retirer des points aux branches d’un Nœud "Démarrer un Test A/B/X" à l’aide du Nœud "Évaluer branche A/B/X".
- Ce nœud, de type Action, est utilisé pour évaluer toute action au sein d’une branche d’un test A/B/X. Dans l’interface du nœud, vous configurez les points à ajouter à la branche lorsque celle-ci est exécutée.
- Pour configurer le Nœud "Évaluer branche A/B/X", il est nécessaire qu’il soit connecté à une branche d’un Nœud "Démarrer un Test A/B/X".
- Pour le configurer, il suffit simplement d’indiquer la quantité de points que vous souhaitez ajouter à la branche lorsque ce nœud est exécuté.
- De plus, vous pouvez choisir d’ajouter une quantité fixe de points à la branche (option de valeur littérale), ou d’ajouter une quantité issue de données disponibles à partir des nœuds précédents du workflow (option de données importées).
2. Comment l’utiliser dans Connectif
2.1. Configuration du Nœud "Démarrer un Test A/B/X"
1. Une fois le Nœud "Démarrer un Test A/B/X" ajouté à votre workflow, accédez à sa configuration.
2. Dans la section Branches, indiquez le nombre de branches ou d’alternatives que vous souhaitez tester.
3. Configurez la taille de la Phase d’Échantillonnage. C’est là que réside l’une des principales différences entre les modes de fonctionnement.
- En mode de fonctionnement Massif, vous devrez indiquer quel pourcentage du total des contacts auxquels s’applique le workflow vous souhaitez inclure dans l’échantillon, et quel pourcentage de contacts restera en attente pour la Phase Finale.
- Vous pouvez également indiquer une quantité maximale de contacts à échantillonner, indépendamment du champ précédent.
- En mode de fonctionnement Transactionnel, vous n’aurez pas besoin d’indiquer quel pourcentage de contacts doit faire partie de l’échantillon, puisque tous les contacts en font partie. Par conséquent, dans ce mode, il suffit simplement d’indiquer, si vous le souhaitez, une limite maximale de contacts à échantillonner.
4. Enfin, dans Définir la branche gagnante, déterminez quand vous souhaitez que le test A/B/X termine sa Phase d’Échantillonnage et passe à la Phase Finale. Connectif propose 3 façons de le faire :
- Par date et heure fixes : il suffit de définir une date et une heure fixes, et exactement à ce moment-là, le test A/B/X mettra fin à sa Phase d’Échantillonnage pour passer à la Phase Finale.
- Après un certain délai : similaire à l’option précédente, mais au lieu de définir une date et une heure, on définit une durée. Par exemple, "après 2 jours depuis le début de la Phase d’Échantillonnage".
- Lorsque la limite maximale de contacts à échantillonner est atteinte : c’est-à-dire, lorsque le nombre de contacts échantillonnés atteint la quantité définie dans le champ "Limite maximale de contacts à échantillonner" dans la configuration de la Phase d’Échantillonnage.
5. Le test A/B/X passera à la Phase Finale dès que l’un des 3 critères sélectionnés ci-dessus sera rempli.
2.2. Configurer les branches d’un Test A/B/X
Comme mentionné précédemment, dans la configuration du Nœud "Démarrer un Test A/B/X", il faut indiquer le nombre de branches ou d’alternatives différentes à tester. Mais, pour pouvoir définir quelle connexion sortante du nœud correspond à quelle branche, il faut le configurer depuis la vue générale de l’éditeur de workflows.
Pour cela, ajoutez simplement les différents nœuds qui constitueront chacune des variantes du Test A/B/X dans l’éditeur de workflows, puis connectez-les au Nœud "Démarrer un Test A/B/X", comme dans l’exemple suivant.
Toutes les connexions sortantes du Nœud "Démarrer un Test A/B/X" ont toujours une branche associée, mais vous pouvez modifier cette branche en cliquant sur le cercle central de la connexion qui contient la lettre de la branche.
En règle générale, il devrait y avoir une connexion sortante pour chaque branche, mais si vous souhaitez avoir plusieurs connexions par branche, cela est possible.
2.3. Déterminer la branche gagnante
L’idée principale est d’utiliser des nœuds déclencheurs dans chaque branche afin d’ajouter ou de retirer des points à la branche lorsque certains événements se produisent. Par exemple :
- À l’ouverture d’un email : Ajouter 1 point à la branche.
- Au clic sur l’email : Ajouter 1 point à la branche.
- En cas de désinscription à l’email : Retirer 10 points à la branche.
- En cas d’achat : Ajouter autant de points à la branche que le nombre de produits achetés.
Il faut garder à l’esprit que la branche gagnante n’est pas nécessairement celle qui a le plus de points, mais celle qui a le meilleur ratio de Points par rapport au nombre d’exécutions. Ainsi, si par exemple, un Test A/B/X présente les 2 branches suivantes :
- Branche A : Exécutée 521 fois, 128 points attribués.
- Branche B : Exécutée 506 fois, 126 points attribués.
Le ratio de la branche A est de 0,246 point par exécution, tandis que celui de la branche B est de 0,249. Ainsi, la branche B serait la gagnante, même si elle a moins de points que la branche A.
2.4. Exemples de stratégies avec tests A/B/X
Dans le répertoire de modèles de workflows de votre boutique, vous disposez de plusieurs stratégies préconfigurées utilisant des tests A/B/X, que vous pouvez appliquer facilement.
À la fin de cet article, vous trouverez des liens vers certaines d’entre elles. De plus, voici une vidéo expliquant comment réaliser un test A/B/X pour optimiser vos recommandations de produits :
Continuez à apprendre !
Pour tirer pleinement parti de votre compte Connectif, nous vous recommandons de poursuivre avec les articles suivants :