Tipos de test A/B/X y configuración

En esta artículo se explican las nociones básicas para realizar un Test A/B/X. El objetivo es llevar a cabo campañas de marketing que nos permitan probar varias alternativas de contenidos y conocer cual ofrece mejor rendimiento en una pequeña muestra de nuestros contactos. De esta forma, al resto de estos, sólo le mostraremos el contenido que mejor rinda.

El nodo "Iniciar Test A/B/X"

Este nodo lo podemos encontrar bajo la sección "Acciones" del panel de herramientas del editor de workflows, mostrado en un color gris por defecto como parte de la integración del sistema de Connectif.

Restricciones

Este nodo es especial, en el sentido en que impone ciertas restricciones al Workflow:

• Sólo se permite un nodo "Iniciar Test A/B/X" por flujo.
• Todas las conexiones salientes a partir de un nodo "Iniciar Test A/B/X" pertenecen siempre a una rama del test.
• No es posible interconectar las ramas salientes de un nodo "Iniciar Test A/B/X".
• No es posible conectar nodos previos al "Iniciar Test A/B/X" con un nodo posterior, es decir, con un nodo que se encuentre en una rama del test.
• Si un workflow tiene un nodo "Iniciar Test A/B/X", siempre será catalogado como un workflow Clásico.

Modo de funcionamiento

La idea principal, como se ha indicado antes, es la de poder probar un contenido (email, ventana modal, etc.), con una muestra pequeña de nuestra lista de contactos. Así podremos analizar, para esa pequeña muestra, qué contenido ofrece mejores resultados (más aperturas, más clics, más compras, etc.), y mostrar entonces ese contenido que ofrece mejores resultados a todo el grueso de contactos de nuestra lista. De este modo, optimizaremos los envíos de contenido y obtendremos un mejor ratio de conversión.

Ahora bien, para realizar estos Test A/B/X, necesitamos diferenciar 2 modos de llevarlos a cabo: para Acciones Masivas, o para Acciones Transaccionales.

• Acciones Masivas: con esto, nos referimos a aquellas campañas de marketing que implican realizar una acción de manera masiva para una gran cantidad de contactos (que podría ser toda nuestra lista de contactos), en un momento determinado del tiempo. El mejor ejemplo es el envío de un boletín promocional vía email.
• Acciones Transaccionales: estas acciones son las que se realizan de manera puntual e individual. Depende sólo del propio contacto. Un ejemplo de esto podría ser mostrar una ventana modal al contacto cuando navega por nuestra tienda online ofreciéndole un descuento. Esta ventana modal se mostraría, obviamente, sólo cuando el contacto navega por nuestra web, por lo que es necesario un nodo de tipo disparador antes del nodo "Iniciar Test A/B/X".

La diferenciación de estos dos modos se debe a que hay que entender bien que el nodo "Iniciar Test A/B/X" se comporta de manera diferente dependiendo del escenario que queramos llevar a cabo. Veámoslo con dos ejemplos:

• Ejemplo de una Acción Masiva:

Queremos enviar un email promocional a toda nuestra lista de 10.000 contactos. Tenemos dos diseños del email diferentes, y nos gustaría poder enviar unos 500 emails con el diseño "A" a 500 contactos, y otros 500 emails con el diseño "B" a otros 500 contactos diferentes. Esperaremos 1 día para ver cual de los dos diseños ofrece mejor estadísticas de clics. Una vez transcurrido ese día, aquel diseño que haya ofrecido mejores resultados se lo enviaremos a los otros 9.000 contactos.

En este modo de funcionamiento, lo que necesitamos es enviar primero 1.000 correos a nuestros contactos, siendo el 50% de ellos con el diseño "A" y el otro 50% con el diseño "B", dejando a la espera los otros 9.000 contactos. Durante ese día, vamos a contabilizar los clics que ocasiona cada contenido, y al día siguiente, cogeremos esos 9.000 contactos que dejamos a la espera, y les enviaremos el email con el contenido que más clics.

El hecho de "dejar a la espera a X contactos" es lo que diferencia este modo de funcionamiento Masivo del modo de funcionamiento Transaccional.

• Ejemplo de una Acción Transaccional:

Queremos mostrar una notificación push a los contactos que abandonan su carrito de la compra, dándoles un código de descuento para que regresen y finalicen su compra. Tenemos dos diseños de la notificación push diferentes, y nos gustaría probar durante unos 3 días cual de los dos diseños ocasiona una mayor cantidad de recuperaciones de carritos. Transcurridos esos 3 días, el diseño que ofrezca una mayor cantidad de recuperación de carritos será el que enviemos a todo el mundo que abandone un carrito de la compra.

A priori, no podemos anticipar cuanta gente va a abandonar el carrito en 3 días, por lo que no tendría mucho sentido enviar 500 notificaciones push del diseño "A" y otras 500 del diseño "B". En su lugar, lo que tenemos que hacer es, para todos los contactos que abandonen un carrito durante estos 3 días, enviarles una notificación push con un diseño "A" o "B" escogido de forma aleatoria (con un 50% de posibilidades cada una). Aquí no se "pone a la espera" a ningún contacto; durante esos 3 días, a todos los contactos se le envía una notificación push al abandonar el carrito. Transcurridos esos 3 días, determinaremos cuál de los dos diseños tiene mejor ratio de conversión, y a partir de ahí enviaremos el diseño ganador a cualquiera que abandone un carrito.

Fases de un Test A/B/X

De acuerdo con los ejemplos explicados en el punto anterior, podemos deducir que un test A/B/X tiene 2 fases sencillas:

• Fase de Muestreo, en la que probamos acciones de marketing algunos de nuestros contactos, y que nos sirve para tomar métricas y estadísticas de cual de esos contenidos ofrece un mejor rendimiento en algún aspecto.
• Fase Final, que viene tras la fase de muestro, en la que ya sabemos cual de las acciones de marketing es la mejor, y es la que utilizamos para todo el grueso de nuestra lista de contactos.

Un test A/B/X empieza siempre con una "Fase de Muestreo". En un determinado momento se determina cual es la acciones de marketing ganadora, y se pasa a la "Fase Final". El momento en el que se determina esa opción ganadora es clave; hay que elegir un buen momento para que haya suficiente "muestra" para sacar conclusiones relevantes y poder elegir la acción de marketing ganadora de manera fiable, pero tampoco hay que esperar demasiado porque las acciones de marketing que son buenas hoy, puede que no lo sean para mañana.

Podemos ver en qué fase se encuentra un test A/B/X en la parte inferior del nodo "Iniciar Test A/B/X":

Configuración del nodo

La parte más importante de la configuración de un nodo "Iniciar Test A/B/X" se encuentra en la parte superior. Se trata del modo de funcionamiento, que hemos explicado en el punto anterior.

Este modo de funcionamiento no se puede modificar de manera manual, sino que el propio nodo ya sabrá en qué modo debe funcionar de acuerdo a la forma del workflow. Si tenemos claro qué modo de funcionamiento necesitamos para la campaña de marketing que queremos implementar, este indicador en la configuración del nodo nos servirá para asegurarnos de que estamos haciendo bien el flujo.

En la configuración del nodo también indicaremos la cantidad de ramas o alternativas que queremos probar. Las ramas siempre se nombran de manera automática con las letras A, B, C, D y E. Los contactos se dividen siempre a partes iguales entre todas las ramas que haya, por ese motivo, si tenemos sólo las ramas "A" y "B", se dividirán el flujo de contactos al 50%. Si por ejemplo tenemos las ramas "A", "B", "C" y "D", se dividirán el flujo de contactos al 25% cada una.

Un poco más abajo podemos configurar el tamaño de la Fase de Muestreo. Aquí radica una de la principales diferencias entre cada modo de funcionamiento.

• Con el modo de funcionamiento Masivo, tenemos que indicar qué porcentaje del total de contactos a los que aplica el workflow queremos que formen parte de la muestra, y qué porcentaje de contactos quedarán a la espera para la Fase Final (el 100% menos el porcentaje de contactos a muestrear). Opcionalmente podemos indicar una cantidad máxima de contactos a muestrear, independientemente del campo anterior. Veámoslo con un ejemplo: Si vamos a lanzar un workflow con una campaña de email masiva para todos los contactos conocidos, y resulta que yo tengo unos 12.000 contactos conocidos en total, si indico que el porcentaje de contactos a muestrear es del 5%, la fase de muestreo enviará unos 600 emails a 600 contactos, poniendo en espera a los 11.400 contactos conocidos restantes hasta que se pase a la Fase Final.
• Con el modo de funcionamiento Transaccional, no tenemos que indicar qué porcentaje de los contactos queremos que formen parte de la "muestra", ya que como se ha explicado antes, en el modo Transaccional, todos los contactos forman parte de la muestra. Por tanto, en este modo sólo podemos indicar (si lo deseamos) un límite máximo de contactos a muestrear.

Por último, en la parte inferior de la configuración del nodo debemos establecer cuándo queremos que el test A/B/X finalice su Fase de Muestro y pase a la Fase Final, es decir, cuándo queremos que se determine la rama ganadora.

Connectif proporciona 3 formas de hacer esto:

• Por fecha y hora fija: simplemente establecemos una fecha y una hora fijas, y exactamente en ese momento, el test A/B/X finalizará su Fase de Muestro y pasará a la Fase Final.
• Tras un tiempo determinado: es parecido a la opción anterior, pero en vez de establecer una fecha y hora fijas, se establece una duración determinada. Por ejemplo, "cuando pasen 2 días desde que comenzó la Fase de Muestreo".

• Cuando se alcance el límite máximo de contactos a muestrear: es decir, cuando se hayan muestreado la cantidad de contactos que hemos establecido en el campo "Límite máximo de contactos a muestrear" de la configuración de la Fase de Muestreo.

El test A/B/X pasará a la Fase Final tan pronto como suceda el primero de los 3 criterios anteriores que estén seleccionados.

Rama de un Test A/B/X

Como hemos dicho antes, podemos indicar la cantidad de ramas o alternativas diferentes que queremos probar dentro de la configuración del nodo "Iniciar Test A/B/X". Pero para poder configurar qué conexión saliente del nodo corresponde a qué rama, necesitamos hacerlo desde la vista general del editor de workflows.

Todas las conexiones salientes del nodo "Iniciar Test A/B/X" tienen siempre una rama asociada (por defecto, la rama A). Pero podemos cambiar la rama asociada simplemente haciendo clic sobre círculo central de la conexión que contiene la letra de la rama.

Como norma general, casi siempre debería haber una conexión saliente para cada rama, pero si quisiéramos tener más de una conexión por rama, podríamos hacerlo. Por ejemplo como en la siguiente imagen:

Determinar la rama ganadora

Hasta ahora hemos dado por sentado que la rama ganadora se "calcula" entre la Fase de Muestreo y la Fase Final, pero no hemos indicado aún cómo se hace. Existen varias formas de determinar cual de las dos ramas es la "ganadora", pero al final siempre tendremos que ser nosotros, los conocedores de la acción de marketing que queremos llevar a cabo, qué métrica determina cual de las dos ramas es la ganadora para el caso de uso concreto que estemos implementando.

Por este motivo, Connectif proporciona un mecanismo versátil y totalmente configurable para determinar cual es la rama ganadora. Todas las ramas de un Test A/B/X de Connectif tiene una determinada puntuación, comenzando siempre en 0. Seremos nosotros, creadores de workflows, los que añadimos o quitamos puntos a las ramas mediante el nodo "Evaluar rama A/B/X".

La idea principal es que se utilicen nodos disparadores en cada rama, para que añadan o quiten puntos a la rama cuando sucedan determinados eventos. Por ejemplo:

• Al abrir un email -> Sumar 1 punto a la rama
• Al hacer clic en el email -> Sumar 1 punto a la rama
• Al darse de baja en email -> Restar 10 puntos a la rama
• Al comprar -> Sumar tantos puntos a la rama como la cantidad de productos comprados.

Por último, hay que tener en cuenta que la rama ganadora no es exactamente la que más puntos tiene, sino la que mayor ratio de Puntos respecto al número de ejecuciones tiene. Así, si por ejemplo un Test A/B/X tiene las siguientes 2 ramas:

Rama A: Ejecutada 521 veces, asignados 128 puntos. Rama B: Ejecutada 506 veces, asignados 126 puntos.

El ratio de la rama A es de 0,246 puntos por ejecución, mientras que el ratio de la rama B es de 0,249. Por tanto, la rama B sería la ganadora, aún a pesar de tener menos puntos que la rama A.

El nodo "Evaluar Rama A/B/X"

Para poder añadir o quitar puntos a una rama de un nodo "Iniciar Test A/B/X", utilizamos el nodo "Evaluar rama A/B/X". Este nodo lo podemos encontrar bajo la sección "Acciones" del panel de herramientas del editor de workflows, mostrado en un color gris por defecto como parte de la integración del sistema de Connectif.

La configuración de este nodo es sencilla, ya que lo único que tenemos que indicar es la cantidad de puntos que queremos añadir a la rama cuando este nodo se ejecute.

Para poder configurar este nodo, es necesario que esté conectado al flujo en una rama de un nodo "Iniciar Test A/B/X". Además, podemos elegir si queremos sumar una cantidad fija de puntos a la rama (opción de valor literal), o si queremos sumar una cantidad que provenga de algún dato disponible de nodos anteriores del workflow (opción de datos importados).