Os Testes A/B/X são uma ferramenta essencial no marketing digital para avaliar diferentes versões das suas campanhas e identificar qual oferece melhor desempenho em uma amostra dos seus contatos para, ao final, exibir o conteúdo que apresentar os melhores resultados.
Neste artigo, você aprenderá o que são os testes A/B/X, seus benefícios e como configurá-los na Connectif.
Um Teste A/B/X divide o tráfego do Workflow para, uma vez concluído, fazer o contato continuar pelo ramo vencedor. Se o que você deseja é dividir o tráfego de um workflow, recomendamos consultar a documentação sobre o nó "Split".
1. Propriedades
1.1. Propriedades do nó "Iniciar Teste A/B/X"
- O nó "Iniciar Teste A/B/X", do tipo Ação, é utilizado para ativar o início de um teste A/B/X em um workflow. Na interface do nó são configurados os parâmetros do teste, que ajudarão a determinar o ramo vencedor.
- O nó "Iniciar Teste A/B/X" permite testar diferentes versões de um conteúdo (Email, Popup, Inline, etc.), com uma pequena amostra da nossa lista de contatos. Assim, é possível analisar, para essa pequena amostra, qual variação do conteúdo oferece melhores resultados (mais aberturas, cliques, compras, etc.) e exibir o conteúdo com melhor desempenho para a maioria dos contatos da lista.
O uso deste nó permite otimizar os envios de conteúdo e obter uma melhor taxa de conversão.
1.1.1. Modo de funcionamento
Para realizar esses Testes A/B/X, precisamos diferenciar 2 modos de execução: para Ações Massivas ou para Ações Transacionais.
- Ações Massivas: referem-se a campanhas de marketing que implicam realizar uma ação em massa para uma grande quantidade de contatos (que pode ser toda nossa lista), em um momento determinado. O melhor exemplo é o envio de um boletim promocional por email.
- Ações Transacionais: são aquelas ações realizadas de forma pontual e individual. Dependem exclusivamente do próprio contato. Um exemplo seria exibir uma janela modal ao contato quando navega pela nossa loja online oferecendo um desconto. Essa janela modal será exibida, obviamente, somente quando o contato estiver navegando, portanto, é necessário um nó do tipo disparador antes do nó "Iniciar Teste A/B/X".
O modo de funcionamento não pode ser alterado manualmente, pois o próprio nó já saberá em qual modo deve operar de acordo com a estrutura do workflow. Se estiver claro qual modo é necessário para a campanha que deseja implementar, esse indicador na configuração do nó ajudará a confirmar que o fluxo está sendo construído corretamente.
A diferenciação desses dois modos existe porque é essencial compreender que o nó "Iniciar Teste A/B/X" se comporta de forma diferente dependendo do cenário desejado. Vejamos com dois exemplos:
- Exemplo de uma Ação Massiva
Queremos enviar um email promocional para toda a nossa lista de 10.000 contatos. Temos dois designs de email diferentes e gostaríamos de enviar cerca de 500 emails com o design "A" para 500 contatos, e outros 500 emails com o design "B" para outros 500 contatos diferentes. Vamos aguardar 1 dia para ver qual dos dois designs apresenta melhores estatísticas de cliques. Após esse dia, o design com melhor desempenho será enviado para os outros 9.000 contatos.
-
- Neste modo de funcionamento, precisamos enviar primeiro 1.000 e-mails para nossos contatos, sendo 50% com o design "A" e os outros 50% com o design "B", deixando os outros 9.000 contatos em espera.
- Durante esse dia, vamos contabilizar os cliques gerados por cada conteúdo, e no dia seguinte, usaremos os 9.000 contatos que ficaram em espera e enviaremos a eles o e-mail com o conteúdo que gerou mais cliques.
- O fato de "deixar contatos em espera" é o que diferencia esse modo de funcionamento Massivo do modo de funcionamento Transacional.
- Exemplo de uma Ação Transacional
Queremos exibir uma notificação push para contatos que abandonam seu carrinho de compras, oferecendo um código de desconto para que retornem e finalizem a compra. Temos dois designs diferentes da notificação push e gostaríamos de testar, durante 3 dias, qual dos dois gera mais recuperações de carrinhos. Após esses 3 dias, o design com maior taxa de recuperação será usado para todos que abandonarem o carrinho.
-
- A princípio, não podemos prever quantas pessoas vão abandonar o carrinho em 3 dias, então não faria muito sentido enviar 500 notificações push do design "A" e outras 500 do design "B".
- Em vez disso, o que faremos é, para todos os contatos que abandonarem o carrinho durante esses 3 dias, enviar uma notificação push com o design "A" ou "B" escolhido aleatoriamente (com 50% de chance para cada um).
- Aqui, nenhum contato é "colocado em espera"; durante esses 3 dias, todos os contatos receberão a notificação push ao abandonarem o carrinho.
- Após os 3 dias, determinaremos qual dos dois designs teve a melhor taxa de conversão, e a partir daí usaremos o design vencedor para todos que abandonarem o carrinho.
1.1.2. Restrições
Este nó é especial, pois impõe certas restrições ao Workflow:
- Só é permitido um nó "Iniciar Teste A/B/X" por fluxo.
- Todas as conexões de saída a partir de um nó "Iniciar Teste A/B/X" pertencem sempre a um ramo do teste.
- Não é possível interligar os ramos de saída de um nó "Iniciar Teste A/B/X".
- Não é possível conectar nós anteriores ao "Iniciar Teste A/B/X" com um nó posterior, ou seja, um nó que esteja em um dos ramos do teste.
- Se um workflow contém o nó "Iniciar Teste A/B/X", ele será sempre classificado como um workflow Clássico.
1.2. Fases de um Teste A/B/X
De acordo com os exemplos explicados no ponto anterior, podemos deduzir que um teste A/B/X possui 2 fases:
- Fase de Amostragem, na qual testamos ações de marketing com parte dos nossos contatos, o que nos permite obter métricas e estatísticas sobre qual conteúdo oferece melhor desempenho.
- Fase Final, que ocorre após a fase de amostragem, onde já sabemos qual ação de marketing é a melhor, e é essa que usamos para toda a nossa base de contatos.
Um teste A/B/X sempre começa com uma Fase de Amostragem. Em um determinado momento é identificada a ação de marketing vencedora e então se inicia a Fase Final.
O momento em que será determinada a opção vencedora é crucial: é necessário escolher um bom momento para que haja uma amostra suficiente, para tirar conclusões relevantes e escolher de forma confiável a ação de marketing vencedora — mas também não se deve esperar demais.
Na Connectif é possível ver em que fase está um teste A/B/X na parte inferior do nó "Iniciar Teste A/B/X":
1.3. Propriedades do nó "Avaliar Ramo A/B/X"
- Para determinar o ramo vencedor de um Teste A/B/X, a Connectif permite adicionar ou remover pontos dos ramos de um nó "Iniciar Teste A/B/X" por meio do nó "Avaliar ramo A/B/X".
- Este nó, do tipo Ação, é utilizado para avaliar qualquer ação dentro de um ramo de teste A/B/X. Na interface do nó se configuram os pontos que serão adicionados à ramificação quando ela for executada.
- Para configurar o nó "Avaliar ramo A/B/X", é necessário que ele esteja conectado a um ramo de um nó "Iniciar Teste A/B/X".
- Para configurá-lo, basta indicar a quantidade de pontos que deseja adicionar ao ramo quando o nó for executado.
- Além disso, permite escolher se deseja somar um valor fixo de pontos ao ramo (opção de valor literal) ou somar um valor que venha de algum dado disponível de nós anteriores do workflow (opção de dados importados).
2. Como usar na Connectif
2.1. Configuração do nó "Iniciar Teste A/B/X"
1. Depois de adicionar o nó "Iniciar Teste A/B/X" ao seu workflow, acesse a sua configuração.
2. Na seção Ramos, indique a quantidade de ramos ou alternativas que deseja testar.
Os ramos sempre são nomeados automaticamente com as letras A, B, C, D e E. Os contatos são sempre divididos igualmente entre todos os ramos existentes, por isso, se houver os ramos "A" e "B", o fluxo de contatos será dividido em 50% para cada. Se, por exemplo, tivermos os ramos A, B, C e D, o fluxo será dividido em 25% para cada.
3. Configure o tamanho da Fase de Amostragem. Aqui está uma das principais diferenças entre os modos de funcionamento.
- Com o modo de funcionamento Massivo, você precisará indicar qual percentual do total de contatos que entram no workflow deverá fazer parte da amostra e qual percentual ficará em espera para a Fase Final.
- Opcionalmente, você pode definir uma quantidade máxima de contatos na amostra, independentemente do campo anterior.
Por exemplo, em um workflow com uma campanha de email em massa para todos os contatos conhecidos, tendo 12.000 contatos no total, se for indicado que o percentual de amostragem é de 5%, a fase de amostragem enviará cerca de 600 emails para 600 contatos, colocando em espera os 11.400 contatos restantes até que se inicie a Fase Final.
- Com o modo de funcionamento Transacional, não será necessário indicar o percentual de contatos para a amostra, já que todos os contatos fazem parte dela. Assim, neste modo, só será necessário indicar, se desejar, um limite máximo de contatos a serem amostrados.
4. Por fim, em Estabelecer o ramo vencedor, defina quando deseja que o teste A/B/X encerre sua Fase de Amostragem e passe à Fase Final. A Connectif oferece 3 formas de fazer isso:
- Por data e hora fixas: simplesmente definimos uma data e hora exatas, e exatamente nesse momento, o teste A/B/X encerrará a Fase de Amostragem e passará à Fase Final.
- Após um tempo determinado: é parecido com a opção anterior, mas em vez de definir data e hora exatas, define-se uma duração. Por exemplo, "quando se passarem 2 dias desde o início da Fase de Amostragem".
A fase de amostragem começa no momento em que o workflow é ativado, e não quando se chega ao nó "Iniciar Teste A/B/X". É importante considerar isso ao configurar quanto tempo levará para declarar o ramo vencedor, especialmente se os usuários só chegarem ao nó após várias horas ou dias.
- Quando for atingido o limite máximo de contatos a serem amostrados: ou seja, quando tiverem sido amostrados a quantidade de contatos definida no campo "Limite máximo de contatos a amostrar" na configuração da Fase de Amostragem.
5. O teste A/B/X passará para a Fase Final assim que ocorrer o primeiro dos 3 critérios anteriores que estiverem selecionados.
Se nenhum dos critérios for cumprido para definir um vencedor, o sistema determinará um automaticamente após 90 dias. O tempo máximo que um teste pode durar, portanto, é de 90 dias.
2.2. Configurar os ramos de um Teste A/B/X
Como dissemos anteriormente, dentro da configuração do nó "Iniciar Teste A/B/X" é necessário indicar a quantidade de ramos ou alternativas diferentes que se deseja testar. Mas, para configurar qual conexão de saída do nó corresponde a qual ramo, é necessário fazê-lo a partir da visualização geral do editor de workflows.
Para isso, basta adicionar os diferentes nós que farão parte de cada uma das variantes do Teste A/B/X ao editor de workflows e conectá-los ao nó "Iniciar Teste A/B/X", como mostrado no exemplo abaixo.
Todas as conexões de saída do nó "Iniciar Teste A/B/X" sempre têm um ramo associado, mas você pode alterá-lo clicando no círculo central da conexão que contém a letra do ramo.
Como regra geral, deve haver uma conexão de saída para cada ramo, mas se desejar ter mais de uma conexão por ramo, isso também é possível.
2.3. Determinar o ramo vencedor
A Connectif fornece um mecanismo versátil e totalmente configurável para determinar qual é o ramo vencedor. Todos os ramos de um Teste A/B/X na Connectif têm uma pontuação inicial de 0. Será o usuário da Connectif quem adicionará ou removerá pontos dos ramos por meio do nó "Avaliar ramo A/B/X".
A ideia principal é utilizar nós disparadores em cada ramo, para que somem ou subtraiam pontos quando determinados eventos ocorrerem. Por exemplo:
- Ao abrir um e-mail: Adicionar 1 ponto ao ramo.
- Ao clicar no e-mail: Adicionar 1 ponto ao ramo.
- Ao cancelar a inscrição: Subtrair 10 pontos do ramo.
- Ao realizar uma compra: Adicionar tantos pontos ao ramo quanto a quantidade de produtos comprados.
É importante observar que o ramo vencedor não é exatamente o que tem mais pontos absolutos, mas sim aquele com a maior taxa de Pontos em relação ao número de execuções. Assim, por exemplo, se um Teste A/B/X tiver os seguintes dois ramos:
- Ramo A: Executado 521 vezes, atribuídos 128 pontos.
- Ramo B: Executado 506 vezes, atribuídos 126 pontos.
A taxa do ramo A é de 0,246 pontos por execução, enquanto a do ramo B é de 0,249. Portanto, o ramo B seria o vencedor, mesmo tendo menos pontos totais que o ramo A.
Existem várias maneiras de determinar qual dos ramos é o "vencedor", mas, no final, cabe à equipe de marketing que configurou a campanha decidir qual métrica será usada para definir o vencedor, dependendo do caso de uso específico que está sendo implementado.
2.4. Exemplos de estratégias com testes A/B/X
No diretório de templates de workflows da sua Loja, você tem à disposição várias estratégias pré-configuradas que utilizam testes A/B/X para aplicá-las facilmente.
No final deste artigo, você encontrará links para algumas delas. Além disso, aqui você tem disponível um vídeo sobre como realizar um teste A/B/X para otimizar suas recomendações de produtos:
Acesse o artigo completo sobre Teste ABX para otimizar o recomendador de produtos neste link.
Parabéns!
Você chegou ao final da lição.
Ficou com alguma dúvida?
Lembre-se de que você tem à disposição nossos especialistas da Connectif. Para entrar em contato, basta abrir um ticket de Suporte clicando no botão azul de “Ajuda” no seu dashboard.
Continue aprendendo!
Para aproveitar todo o potencial da sua conta na Connectif, recomendamos que continue com os seguintes artigos: