I Test A/B/X sono uno strumento essenziale nel marketing digitale per valutare diverse versioni delle tue campagne e identificare quella che offre migliori prestazioni su un campione dei tuoi contatti, per poi mostrare il contenuto con i risultati più efficaci al resto del pubblico.
In questo articolo imparerai cosa sono i test A/B/X, i loro vantaggi e come configurarli in Connectif.
Un Test A/B/X divide il traffico del workflow per, una volta terminato, far proseguire il contatto attraverso il ramo vincente. Se il tuo obiettivo è semplicemente dividere il traffico di un workflow, ti consigliamo di consultare la documentazione sul nodo "Split".
1. Proprietà
1.1. Proprietà del nodo "Avvia Test A/B/X"
- Il nodo "Avvia Test A/B/X", di tipo Azione, viene utilizzato per avviare un test A/B/X in un workflow. Nell'interfaccia del nodo si configurano i parametri del test, che aiuteranno a determinare il ramo vincente.
- Il nodo "Avvia Test A/B/X" permette di testare diverse versioni di un contenuto (Email, Popup, Inline, ecc.) con un piccolo campione della nostra lista di contatti. In questo modo è possibile analizzare, per tale campione, quale variazione del contenuto ottiene i migliori risultati (più aperture, clic, acquisti, ecc.), e mostrare il contenuto più performante al resto della lista.
L'uso di questo nodo permette di ottimizzare l'invio dei contenuti e ottenere un miglior tasso di conversione.
1.1.1. Modalità di funzionamento
Per realizzare questi Test A/B/X, dobbiamo distinguere due modalità operative: per Azioni Massive o per Azioni Transazionali.
- Azioni Massive: ci riferiamo a quelle campagne di marketing che implicano un'azione massiva su una grande quantità di contatti (potenzialmente tutta la lista contatti), in un determinato momento. L'esempio migliore è l'invio di una newsletter promozionale via email.
- Azioni Transazionali: sono azioni effettuate in modo puntuale e individuale. Dipendono solo dal contatto stesso. Un esempio potrebbe essere la visualizzazione di una finestra modale mentre un contatto naviga sul nostro e-commerce con un'offerta sconto. Questa finestra si mostrerebbe solo quando il contatto visita il sito, quindi è necessario un nodo di tipo trigger prima del nodo "Avvia Test A/B/X".
La modalità di funzionamento non può essere modificata manualmente: il nodo rileverà automaticamente in quale modalità deve operare in base alla struttura del workflow. Se sappiamo quale modalità è adatta alla campagna marketing che vogliamo realizzare, questo indicatore nella configurazione del nodo ci aiuterà a verificarlo.
Questa distinzione è importante perché il nodo "Avvia Test A/B/X" si comporta in modo diverso a seconda dello scenario che vogliamo implementare. Vediamolo con due esempi:
- Esempio di Azione Massiva
Vogliamo inviare un'email promozionale alla nostra lista di 10.000 contatti. Abbiamo due design differenti per l'email e desideriamo inviare 500 email con il design "A" a 500 contatti, e altre 500 con il design "B" ad altri 500 contatti. Aspetteremo un giorno per verificare quale dei due design ottiene migliori tassi di clic. Trascorso quel giorno, invieremo il design più performante ai restanti 9.000 contatti.
-
- In questa modalità di funzionamento, dobbiamo prima inviare 1.000 email ai nostri contatti, il 50% con il design "A" e il restante 50% con il design "B", lasciando in attesa gli altri 9.000 contatti.
- Durante quella giornata, conteremo i clic generati da ciascun contenuto e, il giorno successivo, invieremo l’email con il contenuto che ha ottenuto più clic ai 9.000 contatti che erano stati messi in attesa.
- Il fatto di "mettere in attesa X contatti" è ciò che differenzia questa modalità Massiva dalla modalità Transazionale.
- Esempio di Azione Transazionale
Vogliamo mostrare una notifica push ai contatti che abbandonano il carrello, offrendo loro un codice sconto per tornare e completare l’acquisto. Abbiamo due design differenti per la notifica push, e ci piacerebbe testarli per circa 3 giorni per vedere quale dei due genera più recuperi di carrelli. Trascorsi questi 3 giorni, il design con il miglior tasso di recupero sarà quello inviato a tutti i nuovi abbandoni di carrello.
-
- In teoria, non possiamo sapere in anticipo quante persone abbandoneranno il carrello in 3 giorni, quindi non avrebbe senso inviare 500 notifiche push del design "A" e altre 500 del design "B".
- Invece, dobbiamo inviare a tutti i contatti che abbandonano un carrello durante questi 3 giorni una notifica push con un design "A" o "B" scelto in modo casuale (con il 50% di probabilità ciascuno).
- In questo caso, non si "mette in attesa" nessun contatto; durante quei 3 giorni, tutti i contatti riceveranno una notifica push al momento dell’abbandono del carrello.
- Dopo questi 3 giorni, determineremo quale dei due design ha il miglior tasso di conversione e da quel momento in poi invieremo il design vincente a chiunque abbandoni un carrello.
1.1.2. Restrizioni
Questo nodo è speciale, in quanto impone alcune restrizioni al Workflow:
- È consentito un solo nodo "Avvia Test A/B/X" per flusso.
- Tutte le connessioni in uscita da un nodo "Avvia Test A/B/X" appartengono sempre a un ramo del test.
- Non è possibile interconnettere i rami in uscita da un nodo "Avvia Test A/B/X".
- Non è possibile collegare nodi precedenti al "Avvia Test A/B/X" con un nodo successivo, ovvero con un nodo che si trova in un ramo del test.
- Se un workflow contiene un nodo "Avvia Test A/B/X", sarà sempre classificato come workflow Classico.
1.2. Fasi di un Test A/B/X
In base agli esempi illustrati nel punto precedente, possiamo dedurre che un test A/B/X è composto da 2 fasi:
- Fase di Campionamento, in cui testiamo azioni di marketing su una parte dei nostri contatti, utile per raccogliere metriche e statistiche su quale contenuto produce le migliori performance.
- Fase Finale, che segue alla fase di campionamento, durante la quale abbiamo già identificato l’azione di marketing più efficace e la utilizziamo per il resto della nostra lista di contatti.
Un test A/B/X inizia sempre con una Fase di Campionamento. In un momento determinato viene identificata l’azione di marketing vincente e si passa alla Fase Finale.
Il momento in cui viene determinata l'opzione vincente è cruciale: bisogna scegliere un buon momento in modo che il campione sia sufficientemente rappresentativo, per ottenere conclusioni significative e scegliere in modo affidabile l'azione di marketing vincente, ma senza attendere troppo.
In Connectif è possibile vedere in quale fase si trova un test A/B/X nella parte inferiore del nodo "Avvia Test A/B/X":
1.3. Proprietà del nodo "Valuta Ramo A/B/X"
- Per poter determinare il ramo vincente di un Test A/B/X, Connectif consente di aggiungere o sottrarre punti ai rami di un nodo "Avvia Test A/B/X" tramite l’uso del nodo "Valuta ramo A/B/X".
- Questo nodo, di tipo Azione, viene utilizzato per valutare qualsiasi azione all’interno di un ramo di un test A/B/X. Nell’interfaccia del nodo si configurano i punti da assegnare al ramo al momento dell’esecuzione.
- Per poter configurare il nodo "Valuta ramo A/B/X", è necessario che sia collegato a un ramo di un nodo "Avvia Test A/B/X".
- Per configurarlo, basta indicare il numero di punti da assegnare al ramo quando il nodo viene eseguito.
- Inoltre, è possibile scegliere se sommare un valore fisso di punti al ramo (opzione con valore letterale) oppure un valore che proviene da un dato disponibile nei nodi precedenti del workflow (opzione con dati importati).
2. Come si usa in Connectif
2.1. Configurazione del nodo "Avvia Test A/B/X"
1. Una volta aggiunto il nodo "Avvia Test A/B/X" al tuo workflow, accedi alla sua configurazione.
2. Nella sezione Rami, indica il numero di rami o alternative che vuoi testare.
I rami vengono sempre nominati automaticamente con le lettere A, B, C, D e E. I contatti vengono suddivisi sempre equamente tra tutti i rami configurati, per questo motivo, se abbiamo i rami "A" e "B", il traffico dei contatti sarà suddiviso al 50%. Se ad esempio abbiamo i rami A, B, C e D, ogni ramo riceverà il 25%.
3. Configura la dimensione della Fase di Campionamento. Qui risiede una delle principali differenze tra le modalità di funzionamento.
- Con la modalità di funzionamento Massivo, dovrai indicare quale percentuale del totale dei contatti a cui si applica il workflow deve partecipare al campione, e quale percentuale verrà messa in attesa per la Fase Finale.
- Facoltativamente potrai indicare un numero massimo di contatti da includere nel campione, indipendentemente dal campo precedente.
Ad esempio, in un workflow con una campagna email massiva per tutti i contatti noti, con un totale di 12.000 contatti, se si indica che la percentuale di contatti da campionare è del 5%, la fase di campionamento invierà circa 600 email a 600 contatti, mettendo in attesa i restanti 11.400 contatti fino al passaggio alla Fase Finale.
- Con la modalità di funzionamento Transazionale, non sarà necessario indicare quale percentuale dei contatti deve far parte del campione, poiché tutti i contatti vi partecipano. Pertanto, in questa modalità è sufficiente indicare, se desiderato, un limite massimo di contatti da includere nel campione.
4. Infine, in Stabilire il ramo vincente, determina quando desideri che il test A/B/X concluda la sua Fase di Campionamento e passi alla Fase Finale. Connectif offre 3 modalità per farlo:
- Per data e ora fissa: si imposta una data e un’ora specifiche e, esattamente in quel momento, il test A/B/X terminerà la Fase di Campionamento e passerà alla Fase Finale.
- Dopo un tempo determinato: simile all’opzione precedente, ma invece di indicare una data e ora fisse, si specifica una durata definita. Ad esempio: "dopo 2 giorni dall’inizio della Fase di Campionamento".
La fase di campionamento inizia nel momento in cui il workflow viene attivato, non quando si raggiunge il nodo "Avvia Test A/B/X". È importante tenerlo a mente per configurare correttamente il tempo necessario per dichiarare il ramo vincente, specialmente se i contatti raggiungono il nodo dopo diverse ore o giorni.
- Quando si raggiunge il limite massimo di contatti da campionare: ovvero, quando è stato raggiunto il numero di contatti definito nel campo "Limite massimo di contatti da campionare" della configurazione della Fase di Campionamento.
5. Il test A/B/X passerà alla Fase Finale non appena si verifichi il primo dei 3 criteri selezionati.
Se nessuno dei criteri per dichiarare un vincitore viene soddisfatto, il sistema ne selezionerà uno dopo 90 giorni. La durata massima di un test, quindi, è di 90 giorni.
2.2. Configurare i rami di un Test A/B/X
Come detto in precedenza, all’interno della configurazione del nodo "Avvia Test A/B/X" è necessario indicare il numero di rami o alternative diverse che si vogliono testare. Tuttavia, per configurare quale connessione in uscita del nodo corrisponde a ciascun ramo, è necessario farlo dalla vista generale dell’editor dei workflow.
A tale scopo, basta aggiungere i diversi nodi che costituiranno ciascuna delle varianti del Test A/B/X all’editor dei workflow, e collegarli al nodo "Avvia Test A/B/X", come mostrato nel seguente esempio.
Tutte le connessioni in uscita dal nodo "Avvia Test A/B/X" hanno sempre un ramo associato, ma puoi cambiarlo facendo clic sul cerchio centrale della connessione che contiene la lettera del ramo.
In generale, dovrebbe esserci una connessione in uscita per ciascun ramo, ma è possibile avere più di una connessione per ramo, se necessario.
2.3. Determinare il ramo vincente
Connectif offre un meccanismo versatile e completamente configurabile per determinare quale sia il ramo vincente. Tutti i rami di un Test A/B/X in Connectif hanno un punteggio, che parte sempre da 0. Sarà l’utente di Connectif a dover sommare o sottrarre punti ai rami tramite il nodo "Valuta ramo A/B/X".
L'idea principale è quella di utilizzare nodi trigger in ciascun ramo, per aggiungere o sottrarre punti al ramo quando si verificano determinati eventi. Ad esempio:
- All'apertura di un'email: Aggiungere 1 punto al ramo.
- Al clic sull'email: Aggiungere 1 punto al ramo.
- Alla disiscrizione dall'email: Sottrarre 10 punti al ramo.
- Al momento dell'acquisto: Aggiungere al ramo tanti punti quanti sono i prodotti acquistati.
Bisogna tenere presente che il ramo vincente non è esattamente quello con più punti, ma quello con il miglior rapporto tra Punti e numero di esecuzioni. Ad esempio, se un Test A/B/X ha i seguenti due rami:
- Ramo A: Eseguito 521 volte, assegnati 128 punti.
- Ramo B: Eseguito 506 volte, assegnati 126 punti.
Il rapporto del ramo A è 0,246 punti per esecuzione, mentre quello del ramo B è 0,249. Pertanto, il ramo B sarebbe il vincente, anche se ha meno punti rispetto al ramo A.
Esistono diversi modi per determinare quale dei due rami è il "vincente", ma alla fine dovrà essere il team marketing che configura la campagna a decidere quale metrica definisce il vincitore, in base al caso d'uso concreto che si sta implementando.
2.4. Esempi di strategie con test A/B/X
Nel directory dei template dei workflow del tuo Negozio troverai diverse strategie preconfigurate che utilizzano test A/B/X, pronte da applicare facilmente.
Alla fine di questo articolo troverai alcuni di questi esempi collegati. Inoltre, qui è disponibile un video su come fare un test A/B/X per ottimizzare le tue raccomandazioni di prodotto:
Accedi all'articolo completo sul Test ABX per ottimizzare il raccomandatore di prodotti a questo link.
Congratulazioni!
Hai completato la lezione.
Hai ancora dubbi?
Ricorda che puoi contattare i nostri specialisti di Connectif. Per farlo, ti basta aprire un ticket di supporto cliccando sul pulsante blu "Aiuto" nella tua dashboard.
Continua a imparare!
Per sfruttare al massimo il potenziale del tuo account Connectif, ti consigliamo di continuare con i seguenti articoli: