Politipédia › Pesquisa e Inteligência

Teste AB em pesquisa qualitativa

Do Editorial AVM, a enciclopédia livre do marketing político brasileiro.

Princípio central

O princípio do teste AB, em qualquer campo, é simples: comparar duas alternativas em condições iguais, variando apenas uma coisa por vez. Mantém-se tudo igual, exceto a variável que se quer testar. A diferença de resultado entre as duas versões pode então ser atribuída à variação dessa variável.

Em pesquisa qualitativa política, a aplicação do princípio exige cuidado específico. Os "sujeitos" da pesquisa não são laboratório controlado. São pessoas com histórias, contextos, sensibilidades distintas. A comparação precisa operar sobre grupos pares: grupos diferentes de pessoas que, em todos os critérios relevantes, são equivalentes.

Grupos pares. Mesma faixa etária. Mesma classe social. Mesma região. Mesmo nível de escolaridade. Mesmo perfil de consumo de informação política. Mesma declaração inicial de intenção de voto (ou indecisão, dependendo do objetivo).

Quando os grupos são pares, qualquer diferença observada entre reação ao estímulo A e reação ao estímulo B pode ser atribuída ao estímulo, não ao perfil. Quando a qualificação dos grupos difere, a diferença de reação pode ser efeito do perfil, não do estímulo. O teste, nesse caso, não testa o que propunha testar.

Regra da qualificação

A regra mais importante do teste AB em qualitativa: se mudar a qualificação do grupo, acabou. Não há teste mais. Há comparação entre perfis diferentes, o que é outra coisa, com outro uso.

Equipes inexperientes quebram essa regra com frequência, por pressa ou por dificuldade de recrutamento. Grupo A recrutado de classe média, grupo B de classe popular. Grupo A com pessoas entre trinta e cinquenta anos, grupo B com pessoas acima de sessenta. A reação distinta entre os grupos pode ser efeito da mensagem, mas pode ser efeito do perfil. A análise não consegue separar o que é o quê.

Quando o recrutamento não permite grupos pares em todos os critérios, o protocolo correto é repensar o teste, não executar o teste inadequado. Às vezes, a decisão é adiar a rodagem, ampliar orçamento, renegociar prazo. Testes com qualificação diferente produzem conclusão falsa, que é pior do que não ter conclusão.

Uma variável por vez

Segundo princípio crítico: isolar uma variável por vez.

Equipe inexperiente tenta testar "tudo de uma vez" em teste único. Versão A tem tom duro, ator diferente, música dramática, duração curta. Versão B tem tom suave, ator diferente também, música leve, duração longa. Diferença de reação pode ser efeito de qualquer das quatro variáveis — ou da interação entre elas. A análise não consegue identificar qual elemento específico fez diferença.

O protocolo correto testa uma variável. Versão A e versão B idênticas em tudo, exceto no elemento que se quer validar. Mesmo ator, mesma música, mesma duração, mesmo roteiro em noventa por cento. O que muda é, por exemplo, só o enquadramento do argumento central (ataque direto versus contraste indireto). Aí a diferença observada pode ser atribuída com segurança à variável testada.

Regra prática: melhor ter certeza sobre uma coisa do que suposições sobre várias. Teste mal desenhado produz barulho estatístico, não conclusão.

Aplicações em campanha

O teste AB em pesquisa qualitativa é usado em várias situações de campanha profissional.

Validação de linha narrativa. Antes de a linha narrativa ir ao ar em escala, ela pode ser testada em duas variações, para identificar qual se conecta mais com eleitor-alvo. A escolha do enquadramento dominante orienta toda a produção subsequente.

Teste de peça antes de ir ao ar. Peça específica (vídeo, roteiro de HGPE, peça de rede social) pode ser testada em duas versões antes de impulsionamento. Teste antes de ir ao ar protege contra investimento em peça que não funciona.

Validação de tom. Em candidatura com dúvida sobre tom adequado ao território, teste AB entre versão mais firme e versão mais conciliadora orienta decisão sobre como o candidato deve se apresentar.

Comparação de argumentos. Quando há dúvida sobre qual argumento dá mais tração em determinado tema (por exemplo, "defender a educação por qualidade" versus "defender a educação por equidade"), teste AB indica qual gera mais conexão com o público-alvo.

Validação de resposta a ataque. Em pré-campanha, equipe pode antecipar ataques prováveis e testar duas linhas de resposta diferentes. A linha mais eficaz fica como base, caso o ataque materialize.

Limitações

O teste AB qualitativo tem limitações que precisam ser reconhecidas.

Não mede escala. Teste com dois grupos de oito pessoas não diz quantos milhões de eleitores vão reagir de uma forma ou de outra. Mede direção, não magnitude.

Depende de qualidade da moderação. Moderação que induz a resposta contamina o teste. Moderador experiente é condição.

Não antecipa efeito de contexto. A peça testada em maio pode ir ao ar em setembro, em conjuntura diferente. O resultado do teste qualitativo indica tendência no contexto do teste, não certeza no contexto futuro.

Amostra pequena. Dois grupos de oito a dez pessoas não são estatisticamente representativos. Servem para identificar padrão claro de diferença. Diferença sutil entre versões pode não aparecer nesse tamanho de amostra.

Campanha séria combina teste AB qualitativo com pesquisa quantitativa posterior para escala. Os dois instrumentos se complementam.

Ver também

Referências