Os Testes A/B/X são uma ferramenta essencial no marketing digital para avaliar diferentes versões das suas campanhas e identificar qual oferece melhor desempenho em uma amostra dos seus contatos para, ao final, exibir o conteúdo que apresentar os melhores resultados.
Neste artigo, você aprenderá o que são os testes A/B/X, seus benefícios e como configurá-los na Connectif.
1. Propriedades
1.1. Propriedades do nó "Iniciar Teste A/B/X"
- O nó "Iniciar Teste A/B/X", do tipo Ação, é utilizado para ativar o início de um teste A/B/X em um workflow. Na interface do nó são configurados os parâmetros do teste, que ajudarão a determinar o ramo vencedor.
- O nó "Iniciar Teste A/B/X" permite testar diferentes versões de um conteúdo (Email, Popup, Inline, etc.), com uma pequena amostra da nossa lista de contatos. Assim, é possível analisar, para essa pequena amostra, qual variação do conteúdo oferece melhores resultados (mais aberturas, cliques, compras, etc.) e exibir o conteúdo com melhor desempenho para a maioria dos contatos da lista.
1.1.1. Modo de funcionamento
Para realizar esses Testes A/B/X, precisamos diferenciar 2 modos de execução: para Ações Massivas ou para Ações Transacionais.
- Ações Massivas: referem-se a campanhas de marketing que implicam realizar uma ação em massa para uma grande quantidade de contatos (que pode ser toda nossa lista), em um momento determinado. O melhor exemplo é o envio de um boletim promocional por email.
- Ações Transacionais: são aquelas ações realizadas de forma pontual e individual. Dependem exclusivamente do próprio contato. Um exemplo seria exibir uma janela modal ao contato quando navega pela nossa loja online oferecendo um desconto. Essa janela modal será exibida, obviamente, somente quando o contato estiver navegando, portanto, é necessário um nó do tipo disparador antes do nó "Iniciar Teste A/B/X".
A diferenciação desses dois modos existe porque é essencial compreender que o nó "Iniciar Teste A/B/X" se comporta de forma diferente dependendo do cenário desejado. Vejamos com dois exemplos:
- Exemplo de uma Ação Massiva
-
- Neste modo de funcionamento, precisamos enviar primeiro 1.000 e-mails para nossos contatos, sendo 50% com o design "A" e os outros 50% com o design "B", deixando os outros 9.000 contatos em espera.
- Durante esse dia, vamos contabilizar os cliques gerados por cada conteúdo, e no dia seguinte, usaremos os 9.000 contatos que ficaram em espera e enviaremos a eles o e-mail com o conteúdo que gerou mais cliques.
- O fato de "deixar contatos em espera" é o que diferencia esse modo de funcionamento Massivo do modo de funcionamento Transacional.
- Exemplo de uma Ação Transacional
-
- A princípio, não podemos prever quantas pessoas vão abandonar o carrinho em 3 dias, então não faria muito sentido enviar 500 notificações push do design "A" e outras 500 do design "B".
- Em vez disso, o que faremos é, para todos os contatos que abandonarem o carrinho durante esses 3 dias, enviar uma notificação push com o design "A" ou "B" escolhido aleatoriamente (com 50% de chance para cada um).
- Aqui, nenhum contato é "colocado em espera"; durante esses 3 dias, todos os contatos receberão a notificação push ao abandonarem o carrinho.
- Após os 3 dias, determinaremos qual dos dois designs teve a melhor taxa de conversão, e a partir daí usaremos o design vencedor para todos que abandonarem o carrinho.
1.1.2. Restrições
Este nó é especial, pois impõe certas restrições ao Workflow:
- Só é permitido um nó "Iniciar Teste A/B/X" por fluxo.
- Todas as conexões de saída a partir de um nó "Iniciar Teste A/B/X" pertencem sempre a um ramo do teste.
- Não é possível interligar os ramos de saída de um nó "Iniciar Teste A/B/X".
- Não é possível conectar nós anteriores ao "Iniciar Teste A/B/X" com um nó posterior, ou seja, um nó que esteja em um dos ramos do teste.
- Se um workflow contém o nó "Iniciar Teste A/B/X", ele será sempre classificado como um workflow Clássico.
1.2. Fases de um Teste A/B/X
De acordo com os exemplos explicados no ponto anterior, podemos deduzir que um teste A/B/X possui 2 fases:
- Fase de Amostragem, na qual testamos ações de marketing com parte dos nossos contatos, o que nos permite obter métricas e estatísticas sobre qual conteúdo oferece melhor desempenho.
- Fase Final, que ocorre após a fase de amostragem, onde já sabemos qual ação de marketing é a melhor, e é essa que usamos para toda a nossa base de contatos.
O momento em que será determinada a opção vencedora é crucial: é necessário escolher um bom momento para que haja uma amostra suficiente, para tirar conclusões relevantes e escolher de forma confiável a ação de marketing vencedora — mas também não se deve esperar demais.
Na Connectif é possível ver em que fase está um teste A/B/X na parte inferior do nó "Iniciar Teste A/B/X":
1.3. Propriedades do nó "Avaliar Ramo A/B/X"
- Para determinar o ramo vencedor de um Teste A/B/X, a Connectif permite adicionar ou remover pontos dos ramos de um nó "Iniciar Teste A/B/X" por meio do nó "Avaliar ramo A/B/X".
- Este nó, do tipo Ação, é utilizado para avaliar qualquer ação dentro de um ramo de teste A/B/X. Na interface do nó se configuram os pontos que serão adicionados à ramificação quando ela for executada.
- Para configurar o nó "Avaliar ramo A/B/X", é necessário que ele esteja conectado a um ramo de um nó "Iniciar Teste A/B/X".
- Para configurá-lo, basta indicar a quantidade de pontos que deseja adicionar ao ramo quando o nó for executado.
- Além disso, permite escolher se deseja somar um valor fixo de pontos ao ramo (opção de valor literal) ou somar um valor que venha de algum dado disponível de nós anteriores do workflow (opção de dados importados).
2. Como usar na Connectif
2.1. Configuração do nó "Iniciar Teste A/B/X"
1. Depois de adicionar o nó "Iniciar Teste A/B/X" ao seu workflow, acesse a sua configuração.
2. Na seção Ramos, indique a quantidade de ramos ou alternativas que deseja testar.
3. Configure o tamanho da Fase de Amostragem. Aqui está uma das principais diferenças entre os modos de funcionamento.
- Com o modo de funcionamento Massivo, você precisará indicar qual percentual do total de contatos que entram no workflow deverá fazer parte da amostra e qual percentual ficará em espera para a Fase Final.
- Opcionalmente, você pode definir uma quantidade máxima de contatos na amostra, independentemente do campo anterior.
- Com o modo de funcionamento Transacional, não será necessário indicar o percentual de contatos para a amostra, já que todos os contatos fazem parte dela. Assim, neste modo, só será necessário indicar, se desejar, um limite máximo de contatos a serem amostrados.
4. Por fim, em Estabelecer o ramo vencedor, defina quando deseja que o teste A/B/X encerre sua Fase de Amostragem e passe à Fase Final. A Connectif oferece 3 formas de fazer isso:
- Por data e hora fixas: simplesmente definimos uma data e hora exatas, e exatamente nesse momento, o teste A/B/X encerrará a Fase de Amostragem e passará à Fase Final.
- Após um tempo determinado: é parecido com a opção anterior, mas em vez de definir data e hora exatas, define-se uma duração. Por exemplo, "quando se passarem 2 dias desde o início da Fase de Amostragem".
- Quando for atingido o limite máximo de contatos a serem amostrados: ou seja, quando tiverem sido amostrados a quantidade de contatos definida no campo "Limite máximo de contatos a amostrar" na configuração da Fase de Amostragem.
5. O teste A/B/X passará para a Fase Final assim que ocorrer o primeiro dos 3 critérios anteriores que estiverem selecionados.
2.2. Configurar os ramos de um Teste A/B/X
Como dissemos anteriormente, dentro da configuração do nó "Iniciar Teste A/B/X" é necessário indicar a quantidade de ramos ou alternativas diferentes que se deseja testar. Mas, para configurar qual conexão de saída do nó corresponde a qual ramo, é necessário fazê-lo a partir da visualização geral do editor de workflows.
Para isso, basta adicionar os diferentes nós que farão parte de cada uma das variantes do Teste A/B/X ao editor de workflows e conectá-los ao nó "Iniciar Teste A/B/X", como mostrado no exemplo abaixo.
Todas as conexões de saída do nó "Iniciar Teste A/B/X" sempre têm um ramo associado, mas você pode alterá-lo clicando no círculo central da conexão que contém a letra do ramo.
Como regra geral, deve haver uma conexão de saída para cada ramo, mas se desejar ter mais de uma conexão por ramo, isso também é possível.
2.3. Determinar o ramo vencedor
A ideia principal é utilizar nós disparadores em cada ramo, para que somem ou subtraiam pontos quando determinados eventos ocorrerem. Por exemplo:
- Ao abrir um e-mail: Adicionar 1 ponto ao ramo.
- Ao clicar no e-mail: Adicionar 1 ponto ao ramo.
- Ao cancelar a inscrição: Subtrair 10 pontos do ramo.
- Ao realizar uma compra: Adicionar tantos pontos ao ramo quanto a quantidade de produtos comprados.
É importante observar que o ramo vencedor não é exatamente o que tem mais pontos absolutos, mas sim aquele com a maior taxa de Pontos em relação ao número de execuções. Assim, por exemplo, se um Teste A/B/X tiver os seguintes dois ramos:
- Ramo A: Executado 521 vezes, atribuídos 128 pontos.
- Ramo B: Executado 506 vezes, atribuídos 126 pontos.
A taxa do ramo A é de 0,246 pontos por execução, enquanto a do ramo B é de 0,249. Portanto, o ramo B seria o vencedor, mesmo tendo menos pontos totais que o ramo A.
2.4. Exemplos de estratégias com testes A/B/X
No diretório de templates de workflows da sua Loja, você tem à disposição várias estratégias pré-configuradas que utilizam testes A/B/X para aplicá-las facilmente.
No final deste artigo, você encontrará links para algumas delas. Além disso, aqui você tem disponível um vídeo sobre como realizar um teste A/B/X para otimizar suas recomendações de produtos:
Continue aprendendo!
Para aproveitar todo o potencial da sua conta na Connectif, recomendamos que continue com os seguintes artigos: