Glossário de marketing/Testes A/B
Teste A/B
O teste A/B, também conhecido como teste dividido, é um método científico que serve para otimizar o desempenho de um site ou aplicativo, comparando duas versões para determinar qual delas traz os melhores resultados. Isso pode incluir métricas relacionadas aos custos, como custo por clique, custo por visualização de vídeo, custo por mensagem enviada e custo por mil impressões.
O que é um teste A/B?
Resumidamente, o teste A/B é um método científico que compara duas versões diferentes de algo (como um site, uma campanha publicitária, um aplicativo ou um processo de negócio) para identificar qual delas tem um melhor desempenho.
O teste A/B é uma metodologia de pesquisa (na linguagem científica, um estudo randomizado controlado) utilizada para avaliar o impacto de uma intervenção em uma determinada experiência. Muitas pessoas consideram o teste A/B aplicável apenas em páginas de destino, mas também é possível realizá-lo para otimizar as experiências do negócio.
O objetivo do teste é saber qual das duas versões tem um melhor desempenho (versão “A” ou “B”) com base em metas e métricas específicas.
Testes A/B disponíveis no LinkedIn Ads
Compare o desempenho de suas campanhas de publicidade no LinkedIn ao testar diferentes variáveis, como formato, conteúdo e colocação do anúncio.
A importância do teste A/B
O teste A/B é uma ferramenta essencial para todas as empresas que buscam tomar decisões mais inteligentes com base no comportamento do usuário. Com o teste, os profissionais de marketing, gerentes de produto e analistas identificam pontos de melhoria que terão um impacto positivo nos resultados do negócio.
Todas as decisões que tomamos são incertas de alguma maneira. Em alguns casos, fica muito claro o que deve ser feito. Por exemplo, se uma equipe de desenvolvedores resolve um problema técnico de um site, espera-se que a experiência do usuário seja melhorada. No entanto, na maioria das vezes, não é possível saber ao certo qual será o resultado das ações ou ideias. Em vez de se basear no instinto, que é pouco confiável mesmo entre os especialistas, os profissionais de marketing podem realizar um teste A/B simples, fácil e econômico para avaliar qual ideia será mais bem-sucedida.
Quando os testes A/B são considerados parte fundamental da cultura organizacional, as empresas acabam inovando mais, pois há menos chances de implementar ideias que não funcionam. Além disso, as empresas observam um aumento no ROI, pois descartam as ideias que não têm um bom desempenho antes de lançá-las para o público geral.
As empresas que realizam testes também costumam ser um ambiente de trabalho favorável para os relacionamentos e a colaboração, pois se baseiam em dados para implementar novas ideias, e não em preferências e opiniões individuais.
O teste A/B não substitui a criatividade dos profissionais envolvidos; a equipe pode se concentrar na pesquisa de clientes, na inovação e na concepção de ideias, em vez de tentar convencer os stakeholders de que determinada ideia deve ser implementada.
Dependendo do seu objetivo, os testes A/B podem ajudar você a:
- Encontrar informações úteis para a tomada de decisões e a otimização das experiências.
- Melhorar o engajamento do usuário, o conteúdo do anúncio, o desempenho do site e a experiência do cliente como um todo.
- Identificar pontos de melhoria que terão um impacto positivo nos resultados do negócio.
- Testar hipóteses de forma rápida e econômica.
- Aumentar o ROI ao descobrir o que funciona melhor para os clientes.
- Diminuir as chances de implementar ideias que não funcionam.
4 principais tipos de testes A/B
Estes são os quatro principais tipos de testes A/B:
1. Teste A/A
2. Teste A/B
3. Teste A/B/n
4. Teste multivariado
É importante mencionar que há diversos tipos de testes além dos quatro mostrados aqui.
Por exemplo, os algoritmos de machine learning (como os algoritmos de bandit ou os algoritmos evolutivos) se adaptam constantemente e avaliam o desempenho de diferentes variantes, redirecionando o tráfego para a melhor opção. Nos quase-experimentos e no planejamento de experimentos, é possível realizar testes, mesmo sem haver um controle absoluto sobre as variáveis isoladas ou a amostra.
Teste A/A
O teste A/A é usado para definir o parâmetro de desempenho (ou a versão de controle) de um site ou aplicativo. Ao dividir o tráfego em partes iguais entre duas versões idênticas, os profissionais de marketing e os gerentes de produto compreendem melhor o comportamento do usuário na versão de controle antes de fazer qualquer alteração. Esse processo ajuda a identificar as variações no tráfego do site e possíveis falhas na randomização do software em teste.
Teste A/B
O teste A/B consiste na comparação de duas versões de um mesmo site, aplicativo ou experimento: versão A (“original” ou “controle”) e versão B (“variante” ou “concorrente”). Assim, os profissionais de marketing avaliam o comportamento do usuário nas diferentes versões e tomam decisões com base nos resultados de testes estatísticos (geralmente o teste t ou o teste qui-quadrado).
Teste A/B/n
O teste A/B/n divide o tráfego em partes iguais entre diversas variantes. Nesse tipo de experimento, os profissionais de marketing podem criar e testar mais de uma variante, como diferentes cores para o botão de CTA da página de destino do site. Enquanto o teste A/B compararia apenas duas variantes, o teste A/B/n analisaria diversas variantes de cor, como azul, laranja, verde e preto. Essa é uma maneira eficaz de aproveitar melhor os testes e identificar quais combinações funcionam melhor.
Teste multivariado
O teste multivariado é diferente do teste A/B, pois compara diversas variáveis de uma mesma experiência de uma só vez. Por exemplo, caso um profissional de marketing queira avaliar um título, o texto e a cor do botão de CTA, ele pode criar testes A/B individuais para cada variável ou desenvolver um teste para comparar a versão original com as variações de cada elemento.
O teste multivariado permite que os profissionais avaliem os efeitos da combinação entre os diferentes elementos. Por exemplo, combinar um título A com a cor do botão de CTA B pode funcionar melhor do que apenas o título B isolado; os elementos se complementam e tornam a experiência do usuário mais eficaz.
O teste A/B geralmente é realizado para melhorar as métricas, mas também pode ser útil para outros fins, como garantir que a implementação de uma ideia seja positiva ou avaliar a relevância de um elemento para a experiência do cliente.
Testes A/B: primeiros passos
Antes de realizar um teste A/B, os gerentes de produtos precisam definir o principal indicador de desempenho (KPI) e avaliar se o volume atual de tráfego do site é suficiente. Geralmente, o volume de tráfego dos sites não é o suficiente para realizar testes com resultados estatisticamente confiáveis.
Embora o teste A/B seja baseado em uma abordagem científica, está sujeito a certas limitações estatísticas, como a lei dos grandes números. A utilização de uma calculadora de teste A/B ajuda a identificar o tamanho da amostra necessária (melhoria percentual) para garantir a relevância estatística (geralmente determinada por um valor de p inferior a 0,05).
Como as grandes melhorias são raras, é necessário ter um volume maior de tráfego para identificar pequenas melhorias. Quanto maior o tráfego, mais fácil de identificar pequenas melhorias e, portanto, de realizar testes A/B.
Quando há tráfego suficiente, os profissionais de marketing devem ter dois elementos essenciais para realizar testes A/B: tecnologia e profissionais.
Tecnologia
Para realizar um teste A/B, é necessário ter a tecnologia adequada de avaliação e implementação. A maioria das ferramentas de anúncios e dos sistemas de gerenciamento de campanhas (CMS) apresenta análises dos usuários e das conversões; já as ferramentas de testes A/B distribuem o tráfego aleatoriamente e determinam a relevância estatística.
Muitas ferramentas de anúncios incluem o recurso de teste A/B. É muito simples realizar um teste A/B com o Gerenciador de campanhas do LinkedIn, por exemplo.
Ao testar diferentes elementos de um site, é necessário ter um CMS ou uma ferramenta de teste A/B compatível, com muitas opções disponíveis a preços variados.
Profissionais
Para realizar um teste A/B, é preciso ter vários recursos. Mesmo os testes mais simples precisam dos seguintes profissionais:
- Um gerente de produtos ou profissional de marketing para gerenciar o teste
- Um analista para avaliar os resultados
- Um designer para criar o anúncio
- Um redator para escrever os textos
- Um engenheiro de software para implementar as variantes na sua ferramenta de teste A/B
Testes com alterações pequenas (como a cor do botão) precisam de menos recursos; no entanto, para realizar testes mais complexos, que envolvem a adoção de um produto, é necessário ter equipes multifuncionais e suporte técnico adicional.
Etapas necessárias para implementar um teste/AB
Etapa 1: identificação do ponto de melhoria
Os profissionais e líderes de marketing devem definir o KPI que estão tentando melhorar.
Em alguns casos, essa informação é clara; em outras, é preciso realizar pesquisas de clientes para identificar as possíveis falhas na experiência do usuário.
A análise quantitativa pode ajudar a identificar os estágios do funil que apresentam uma taxa de conversão abaixo do esperado. Por exemplo, um profissional de marketing de software como serviço observa que muitos visitantes do site optam pela demonstração gratuita, mas poucos se tornam clientes pagantes.
Uma alternativa é recorrer à pesquisa qualitativa (como os questionários), pois ela traz informações valiosas sobre os pontos de melhoria. Por exemplo, a pesquisa pode revelar que os usuários da demonstração gratuita não entenderam tão bem o produto porque a experiência de integração não esclarecia suas dúvidas.
Essas informações podem ser úteis para elaborar hipóteses de variantes que podem resolver o problema.
Etapa 2: elaboração da hipótese
É fundamental elaborar uma hipótese antes de realizar o teste em si. Isso ajuda a definir a variável que precisa ser modificada, apresenta uma justificativa para o teste e prevê possíveis dificuldades.
Inclua dados quantitativos e qualitativos que fundamentem a realização do teste.
Os dados quantitativos e qualitativos devem respaldar a hipótese elaborada.
Um formato adequado para apresentar a justificativa da hipótese seria:
“Acreditamos que X aconteça por causa de Y.”
Um exemplo de hipótese para o caso dos clientes que experimentaram a demonstração gratuita de um produto, mas não se tornaram leads qualificados seria: “Acreditamos que as demonstrações gratuitas não estão gerando conversões porque não há explicação de como usar o produto desde o início.”
Etapa 3: desenvolvimento do teste
O escopo do teste determina quais recursos serão necessários para seu desenvolvimento, como:
- Escrever novos textos
- Criar elementos
- Desenvolver recursos adicionais
Vários membros de equipe podem estar envolvidos na realização de um teste.
Os processos variam de acordo com a ideia proposta, mas geralmente o primeiro passo é criar um esboço aproximado da experiência. Por último, desenvolve-se um código para testar a ferramenta de fato.
Etapa 4: implementação do teste
Após desenvolver o teste e realizar a etapa de controle de qualidade, é preciso implementá-lo: o tráfego deve ser dividido igualmente entre a versão original e a variante para obter um nível de confiança de 95%.
Um analista experiente pode definir os valores-limite de acordo com os riscos envolvidos. É recomendado monitorar o teste logo após a implementação para identificar possíveis falhas e problemas.
Etapa 5: análise de resultados
A análise de resultados de um teste depende do desenvolvimento dele.
A maioria das ferramentas de teste A/B tem um mecanismo de análise estatística integrado.
Se a variante apresentar os melhores resultados, será disponibilizada para o público geral. No entanto, se a variante não apresenta resultados satisfatórios ou permanece neutra, é preciso avaliar os possíveis motivos para o desempenho inferior.
Testes de anúncio disponíveis no LinkedIn
O teste A/B é uma ferramenta essencial para os profissionais, líderes e gerentes de marketing que buscam melhorar o desempenho geral do site e as taxas de conversão.
Os processos de tomada de decisão baseados em dados, como os testes divididos, ajudam a identificar os pontos de melhoria sem precisar recorrer a suposições.
O teste A/B do LinkedIn compara o desempenho de duas campanhas com uma única variável diferente, como o público-alvo, a colocação do anúncio e conteúdo do anúncio. Depois de finalizar o teste, nossa plataforma indica a campanha que apresentou melhores resultados com base no KPI escolhido (por exemplo, custo por clique).
Os profissionais de marketing que buscam otimizar suas campanhas e o posicionamento da marca podem realizar os testes A/B do LinkedIn para obter insights valiosos sobre o público, o conteúdo e a colocação do anúncio e aumentar o ROI.
Como realizar testes no Gerenciador de campanhas