Significância Estatística

Você joga uma moeda 10 vezes:
- 7 caras, 3 coroas

A moeda é viciada? 🤔

Resposta: Provavelmente não. 
Com apenas 10 jogadas, essa variação é normal.

---

Você joga 1000 vezes:
- 700 caras, 300 coroas

Agora sim, a moeda está claramente viciada! 
Com 1000 jogadas, essa diferença é estatisticamente significante.

Experimento: Hero CTA Text
Duração: 3 dias
Tráfego: 200 visitantes

Variante A: 100 visitantes, 10 conversões (10%)
Variante B: 100 visitantes, 15 conversões (15%)

Diferença: +50% 🎉

Você deveria implementar a Variante B?

95% de confiança significa:

✅ Se você rodar 100 experimentos assim
✅ ~95 vão te dar resultados corretos
❌ ~5 vão te dar falsos positivos

Isso é aceitável para a maioria dos casos.

z = (p1 - p2) / √[p(1-p) × (1/n1 + 1/n2)]

Onde:
p1 = taxa de conversão variante A
p2 = taxa de conversão variante B
n1 = tamanho amostra A
n2 = tamanho amostra B
p = (x1 + x2) / (n1 + n2) = taxa combinada

n ≈ 16σ² / Δ²

Onde:
σ = desvio padrão (~0.5 para conversão)
Δ = diferença mínima detectável (MDE)

Exemplo:
Para detectar diferença de 10% (0.10):
n ≈ 16 × (0.5)² / (0.10)² = 400 visitantes por variante

Experimento: Hero CTA
Duração: 14 dias

Variante A (Controle):
- 5.000 visitantes
- 250 conversões
- Taxa: 5.0%

Variante B:
- 5.000 visitantes
- 325 conversões  
- Taxa: 6.5%

Diferença: +30%
Significância: 97%

Experimento: Pricing Layout
Duração: 3 dias

Variante A:
- 150 visitantes
- 15 conversões
- Taxa: 10.0%

Variante B:
- 150 visitantes
- 24 conversões
- Taxa: 16.0%

Diferença: +60%
Significância: 78%

Experimento: Newsletter Popup
Duração: 2 dias

Variante A:
- 80 visitantes
- 8 conversões
- Taxa: 10.0%

Variante B:
- 80 visitantes
- 16 conversões
- Taxa: 20.0%

Diferença: +100%
Significância: 65%

❌ RUIM:
Dia 1: Variante B ganhando! (significância 85%)
Dia 2: Variante A recuperou! (empate)
Dia 3: Variante B na frente! (significância 92%)
Dia 4: Vou implementar! (significância 96%)

Problema: Você está "minerando" os dados até achar 
um resultado positivo. Isso infla falsos positivos.

✅ BOM:
Defina duração ANTES (14 dias)
Não olhe resultados diariamente
Analise apenas no final

❌ RUIM:
Dia 2: "Variante B está MUITO melhor! 
Vou parar o teste e implementar."

✅ BOM:
Aguarde pelo menos 1-2 semanas
Atinja tamanho de amostra mínimo
Verifique significância estatística

❌ RUIM:
Rodei 20 testes A/B esse mês.
1 deles mostrou melhoria de 50%!
Vou implementar!

Problema: Por pura sorte, 1 em 20 testes vai 
mostrar resultado "significante" (falso positivo).

✅ BOM:
Teste hipóteses bem fundamentadas
Use correção de Bonferroni para múltiplos testes
Valide resultados surpreendentes com novo teste

P-value = 0.03 (ou 3%)

Significa:
Se NÃO houver diferença real entre as variantes,
você teria apenas 3% de chance de observar 
uma diferença tão grande quanto a que você viu.

Logo: Provavelmente HÁ uma diferença real!

Experimento: Hero CTA
Diferença observada: +20%

Intervalo de confiança (95%):
[+12%, +28%]

Interpretação:
Você pode estar 95% confiante que a melhoria 
real está entre 12% e 28%.

Cenário A:
Diferença: +20%
IC 95%: [+18%, +22%]
→ Resultado muito confiável, intervalo estreito

Cenário B:
Diferença: +20%
IC 95%: [-5%, +45%]
→ Resultado incerto, intervalo muito largo
→ Pode ser de -5% até +45%!

Opções:
1. Teste mudanças MUITO dramáticas (>50% de impacto esperado)
2. Rode por mais tempo (2-3 meses)
3. Use métodos qualitativos (user testing, feedback)

Foque em:
- Revenue per visitor
- Qualidade dos leads
- Lifetime value

Não apenas em:
- Taxa de conversão

Métricas:
- Revenue per visitor (RPV)
- Average order value (AOV)
- Customer lifetime value (CLV)

Tamanho de amostra:
- Geralmente precisa de MAIS dados
- Receita tem mais variância que conversão