Les Tests A/B/X sont un outil essentiel en marketing digital pour évaluer différentes versions de vos campagnes et savoir laquelle offre les meilleures performances sur un échantillon de vos contacts afin, finalement, d’afficher le contenu qui obtient les meilleurs résultats.
Dans cet article, vous apprendrez ce que sont les tests A/B/X, leurs avantages et comment les configurer dans Connectif.
Un Test A/B/X divise le trafic du Workflow pour, une fois terminé, faire continuer le contact par la branche gagnante. Si vous souhaitez uniquement diviser le trafic d’un workflow, nous vous recommandons de consulter la documentation sur le Nœud "Split".
1. Propriétés
1.1. Propriétés du Nœud "Démarrer un Test A/B/X"
- Le Nœud "Démarrer un Test A/B/X", de type Action, est utilisé pour déclencher le début d’un test A/B/X dans un workflow. Dans l’interface du nœud, vous configurez les paramètres du test qui aideront à déterminer la branche gagnante.
- Le Nœud "Démarrer un Test A/B/X" permet de tester différentes versions d’un contenu (Email, Popup, Inline, etc.) sur un petit échantillon de notre liste de contacts. Cela permet d’analyser, sur ce petit échantillon, quelle variation du contenu obtient les meilleurs résultats (plus d’ouvertures, de clics, d’achats, etc.) et d’afficher le contenu le plus performant au reste des contacts de la liste.
L’utilisation de ce nœud permet d’optimiser les envois de contenu et d’obtenir un meilleur taux de conversion.
1.1.1. Mode de fonctionnement
Pour réaliser ces Tests A/B/X, nous devons différencier 2 modes de les exécuter : pour les Actions Massives ou pour les Actions Transactionnelles.
- Actions Massives : cela fait référence aux campagnes marketing qui impliquent d’effectuer une action de manière massive pour un grand nombre de contacts (ce qui peut être toute notre liste de contacts), à un moment donné. Le meilleur exemple est l’envoi d’une newsletter promotionnelle par email.
- Actions Transactionnelles : ces actions sont effectuées de manière ponctuelle et individuelle. Elles dépendent uniquement du contact lui-même. Un exemple pourrait être d’afficher une fenêtre modale au contact lorsqu’il navigue sur notre boutique en ligne en lui offrant une réduction. Cette fenêtre modale s’affichera, évidemment, uniquement lorsque le contact navigue sur notre site web, donc il est nécessaire d’ajouter un nœud de type déclencheur avant le Nœud "Démarrer un Test A/B/X".
Le mode de fonctionnement ne peut pas être modifié manuellement, car le nœud détecte automatiquement dans quel mode il doit fonctionner selon la structure du workflow. Si nous savons clairement quel mode de fonctionnement est nécessaire pour la campagne marketing que nous voulons mettre en œuvre, cet indicateur dans la configuration du nœud nous servira à nous assurer que nous construisons bien le flux.
La différenciation de ces deux modes est importante car le Nœud "Démarrer un Test A/B/X" se comporte différemment selon le scénario à mettre en œuvre. Voyons cela avec deux exemples :
- Exemple d’une Action Massive
Nous voulons envoyer un email promotionnel à toute notre liste de 10 000 contacts. Nous avons deux designs différents de l’email et nous aimerions envoyer environ 500 emails avec le design "A" à 500 contacts, et 500 autres emails avec le design "B" à 500 contacts différents. Nous attendrons 1 jour pour voir lequel des deux designs offre les meilleures statistiques de clics. Une fois ce jour écoulé, le design ayant obtenu les meilleurs résultats sera envoyé aux 9 000 autres contacts.
-
- Dans ce mode de fonctionnement, nous devons d'abord envoyer 1 000 emails à nos contacts, avec 50 % d'entre eux recevant le design "A" et les 50 % restants le design "B", en mettant en attente les autres 9 000 contacts.
- Pendant cette journée, nous comptabiliserons les clics générés par chaque contenu, et le lendemain, nous prendrons ces 9 000 contacts que nous avions mis en attente et leur enverrons l’email avec le contenu qui a obtenu le plus de clics.
- Le fait de "mettre en attente X contacts" est ce qui distingue ce mode de fonctionnement Massif du mode de fonctionnement Transactionnel.
- Exemple d’une Action Transactionnelle
Nous souhaitons afficher une notification push aux contacts qui abandonnent leur panier d’achat, en leur offrant un code de réduction pour les inciter à revenir et finaliser leur achat. Nous avons deux designs différents pour cette notification push et nous aimerions tester pendant environ 3 jours lequel des deux designs génère le plus de récupérations de paniers. Après ces 3 jours, le design qui aura généré le plus de récupérations sera celui que nous enverrons à toutes les personnes qui abandonnent leur panier.
-
- A priori, nous ne pouvons pas anticiper combien de personnes vont abandonner leur panier en 3 jours, donc il ne serait pas très logique d’envoyer 500 notifications push avec le design "A" et 500 autres avec le design "B".
- À la place, ce que nous devons faire, c’est envoyer à chaque contact qui abandonne un panier pendant ces 3 jours une notification push avec un design "A" ou "B" choisi de manière aléatoire (avec 50 % de chances chacun).
- Ici, aucun contact n’est "mis en attente" ; pendant ces 3 jours, tous les contacts reçoivent une notification push lorsqu’ils abandonnent leur panier.
- Passés ces 3 jours, nous déterminerons lequel des deux designs a le meilleur taux de conversion et, à partir de là, nous enverrons ce design gagnant à toute personne qui abandonne un panier.
1.1.2. Restrictions
Ce nœud est particulier, car il impose certaines restrictions au Workflow :
- Un seul Nœud "Démarrer un Test A/B/X" est autorisé par flux.
- Toutes les connexions sortantes à partir d’un Nœud "Démarrer un Test A/B/X" appartiennent toujours à une branche du test.
- Il n’est pas possible d’interconnecter les branches sortantes d’un Nœud "Démarrer un Test A/B/X".
- Il n’est pas possible de connecter des nœuds précédents au "Démarrer un Test A/B/X" à un nœud ultérieur, c’est-à-dire à un nœud situé dans une branche du test.
- Si un workflow contient un Nœud "Démarrer un Test A/B/X", il sera toujours classé comme un workflow Classique.
1.2. Phases d’un Test A/B/X
Selon les exemples expliqués dans le point précédent, on peut déduire qu’un test A/B/X comporte 2 phases :
- Phase d’Échantillonnage, dans laquelle nous testons des actions marketing auprès de certains de nos contacts, ce qui nous permet de collecter des métriques et des statistiques pour savoir quel contenu obtient les meilleurs résultats dans un certain domaine.
- Phase Finale, qui suit la phase d’échantillonnage, où nous savons déjà quelle action marketing est la meilleure, et c’est celle que nous utilisons pour l’ensemble de notre liste de contacts.
Un test A/B/X commence toujours par une Phase d’Échantillonnage. À un moment donné, l’action marketing gagnante est déterminée et l’on passe à la Phase Finale.
Le moment où l’on détermine l’option gagnante est crucial : il faut choisir un bon moment pour avoir un échantillon suffisant, tirer des conclusions pertinentes et pouvoir choisir de manière fiable l’action marketing gagnante, mais il ne faut pas non plus attendre trop longtemps.
Dans Connectif, il est possible de voir dans quelle phase se trouve un test A/B/X dans la partie inférieure du Nœud "Démarrer un Test A/B/X" :
1.3. Propriétés du Nœud "Évaluer Branche A/B/X"
- Pour pouvoir déterminer la branche gagnante d’un Test A/B/X, Connectif permet d’ajouter ou de retirer des points aux branches d’un Nœud "Démarrer un Test A/B/X" à l’aide du Nœud "Évaluer branche A/B/X".
- Ce nœud, de type Action, est utilisé pour évaluer toute action au sein d’une branche d’un test A/B/X. Dans l’interface du nœud, vous configurez les points à ajouter à la branche lorsque celle-ci est exécutée.
- Pour configurer le Nœud "Évaluer branche A/B/X", il est nécessaire qu’il soit connecté à une branche d’un Nœud "Démarrer un Test A/B/X".
- Pour le configurer, il suffit simplement d’indiquer la quantité de points que vous souhaitez ajouter à la branche lorsque ce nœud est exécuté.
- De plus, vous pouvez choisir d’ajouter une quantité fixe de points à la branche (option de valeur littérale), ou d’ajouter une quantité issue de données disponibles à partir des nœuds précédents du workflow (option de données importées).
2. Comment l’utiliser dans Connectif
2.1. Configuration du Nœud "Démarrer un Test A/B/X"
1. Une fois le Nœud "Démarrer un Test A/B/X" ajouté à votre workflow, accédez à sa configuration.
2. Dans la section Branches, indiquez le nombre de branches ou d’alternatives que vous souhaitez tester.
Les branches sont toujours nommées automatiquement avec les lettres A, B, C, D et E. Les contacts sont toujours répartis de manière égale entre toutes les branches disponibles. Par conséquent, si vous avez les branches "A" et "B", le flux de contacts sera réparti à 50 %. Si, par exemple, vous avez les branches A, B, C et D, le flux sera réparti à 25 % pour chacune.
3. Configurez la taille de la Phase d’Échantillonnage. C’est là que réside l’une des principales différences entre les modes de fonctionnement.
- En mode de fonctionnement Massif, vous devrez indiquer quel pourcentage du total des contacts auxquels s’applique le workflow vous souhaitez inclure dans l’échantillon, et quel pourcentage de contacts restera en attente pour la Phase Finale.
- Vous pouvez également indiquer une quantité maximale de contacts à échantillonner, indépendamment du champ précédent.
Par exemple, dans un workflow avec une campagne email massive pour tous les contacts connus, ayant un total de 12 000 contacts connus, si vous indiquez que le pourcentage de contacts à échantillonner est de 5 %, la phase d’échantillonnage enverra environ 600 emails à 600 contacts, mettant en attente les 11 400 contacts restants jusqu’au passage à la Phase Finale.
- En mode de fonctionnement Transactionnel, vous n’aurez pas besoin d’indiquer quel pourcentage de contacts doit faire partie de l’échantillon, puisque tous les contacts en font partie. Par conséquent, dans ce mode, il suffit simplement d’indiquer, si vous le souhaitez, une limite maximale de contacts à échantillonner.
4. Enfin, dans Définir la branche gagnante, déterminez quand vous souhaitez que le test A/B/X termine sa Phase d’Échantillonnage et passe à la Phase Finale. Connectif propose 3 façons de le faire :
- Par date et heure fixes : il suffit de définir une date et une heure fixes, et exactement à ce moment-là, le test A/B/X mettra fin à sa Phase d’Échantillonnage pour passer à la Phase Finale.
- Après un certain délai : similaire à l’option précédente, mais au lieu de définir une date et une heure, on définit une durée. Par exemple, "après 2 jours depuis le début de la Phase d’Échantillonnage".
La phase d’échantillonnage commence au moment où le workflow est activé, et non lorsque l’on atteint le Nœud "Démarrer un Test A/B/X". Il est important d’en tenir compte pour configurer le délai après lequel une branche doit être déclarée gagnante, par exemple si les utilisateurs atteignent le nœud après plusieurs heures ou jours.
- Lorsque la limite maximale de contacts à échantillonner est atteinte : c’est-à-dire, lorsque le nombre de contacts échantillonnés atteint la quantité définie dans le champ "Limite maximale de contacts à échantillonner" dans la configuration de la Phase d’Échantillonnage.
5. Le test A/B/X passera à la Phase Finale dès que l’un des 3 critères sélectionnés ci-dessus sera rempli.
Si aucun critère n’est rempli pour désigner une branche gagnante, le système en choisira une au bout de 90 jours. La durée maximale d’un test est donc de 90 jours.
2.2. Configurer les branches d’un Test A/B/X
Comme mentionné précédemment, dans la configuration du Nœud "Démarrer un Test A/B/X", il faut indiquer le nombre de branches ou d’alternatives différentes à tester. Mais, pour pouvoir définir quelle connexion sortante du nœud correspond à quelle branche, il faut le configurer depuis la vue générale de l’éditeur de workflows.
Pour cela, ajoutez simplement les différents nœuds qui constitueront chacune des variantes du Test A/B/X dans l’éditeur de workflows, puis connectez-les au Nœud "Démarrer un Test A/B/X", comme dans l’exemple suivant.
Toutes les connexions sortantes du Nœud "Démarrer un Test A/B/X" ont toujours une branche associée, mais vous pouvez modifier cette branche en cliquant sur le cercle central de la connexion qui contient la lettre de la branche.
En règle générale, il devrait y avoir une connexion sortante pour chaque branche, mais si vous souhaitez avoir plusieurs connexions par branche, cela est possible.
2.3. Déterminer la branche gagnante
Connectif propose un mécanisme polyvalent et entièrement configurable pour déterminer quelle est la branche gagnante. Toutes les branches d’un Test A/B/X dans Connectif ont un score spécifique, toujours initialisé à 0. C’est l’utilisateur de Connectif qui doit ajouter ou soustraire des points aux branches via le Nœud "Évaluer branche A/B/X".
L’idée principale est d’utiliser des nœuds déclencheurs dans chaque branche afin d’ajouter ou de retirer des points à la branche lorsque certains événements se produisent. Par exemple :
- À l’ouverture d’un email : Ajouter 1 point à la branche.
- Au clic sur l’email : Ajouter 1 point à la branche.
- En cas de désinscription à l’email : Retirer 10 points à la branche.
- En cas d’achat : Ajouter autant de points à la branche que le nombre de produits achetés.
Il faut garder à l’esprit que la branche gagnante n’est pas nécessairement celle qui a le plus de points, mais celle qui a le meilleur ratio de Points par rapport au nombre d’exécutions. Ainsi, si par exemple, un Test A/B/X présente les 2 branches suivantes :
- Branche A : Exécutée 521 fois, 128 points attribués.
- Branche B : Exécutée 506 fois, 126 points attribués.
Le ratio de la branche A est de 0,246 point par exécution, tandis que celui de la branche B est de 0,249. Ainsi, la branche B serait la gagnante, même si elle a moins de points que la branche A.
Il existe plusieurs façons de déterminer quelle est la "branche gagnante", mais au final, ce sera toujours à l’équipe marketing qui configure la campagne de déterminer quelle métrique fait d’une branche la gagnante pour le cas d’usage spécifique que l’on met en œuvre.
2.4. Exemples de stratégies avec tests A/B/X
Dans le répertoire de modèles de workflows de votre boutique, vous disposez de plusieurs stratégies préconfigurées utilisant des tests A/B/X, que vous pouvez appliquer facilement.
À la fin de cet article, vous trouverez des liens vers certaines d’entre elles. De plus, voici une vidéo expliquant comment réaliser un test A/B/X pour optimiser vos recommandations de produits :
Accédez à l’article complet sur le Test ABX pour optimiser le moteur de recommandation de produits via ce lien.
Félicitations !
Vous êtes arrivé à la fin de la leçon.
Des questions non résolues ?
Rappelez-vous que vous pouvez toujours contacter nos spécialistes Connectif. Pour cela, il vous suffit d’ouvrir un ticket au Support en cliquant sur le bouton bleu “Aide” de votre tableau de bord.
Continuez à apprendre !
Pour tirer pleinement parti de votre compte Connectif, nous vous recommandons de poursuivre avec les articles suivants :