Claude Code - Testly

Há duas formas de usar o Claude Code com o Testly:

	Prompt direto	MCP do Testly
O que faz	Claude integra um experimento existente no seu código	Claude cria + integra experimentos direto do editor
Requer configuração?	Não — só colar o prompt	Sim — instalar o MCP uma vez
Melhor para	Primeira integração, usuário novo	Fluxo contínuo de experimentação

Opção 1 — Prompt direto (sem configuração)

Você cria o experimento no dashboard e o Testly gera um prompt pronto na aba “Pedir pra IA”. A API Key, o slug e o evento de conversão já estão preenchidos. Basta copiar e colar no Claude Code. O prompt instrui o Claude a:

Instalar @testlyjs/react se necessário
Encontrar o arquivo raiz e adicionar o TestlyProvider com sua API Key
Encontrar o componente certo e implementar useExperiment + convert

Preciso integrar um teste A/B no meu projeto React usando o Testly SDK.
Faça tudo do zero — assuma que ainda não configurei nada.

INFORMAÇÕES DO EXPERIMENTO:
  SDK:         @testlyjs/react
  API Key:     tk_live_xxx
  Experimento: 'meu-experimento'
  Conversão:   'cta_clicked'

PASSOS:
1. Verifique se @testlyjs/react está no package.json. Se não, instale.
2. No arquivo raiz (App.tsx, layout.tsx, _app.tsx), adicione o TestlyProvider:
   <TestlyProvider apiKey="tk_live_xxx">...</TestlyProvider>
3. No componente certo, implemente:
   const { variant, convert } = useExperiment('meu-experimento');
   variant === 'control' → original | variant === 'variant-b' → nova variante
   Conversão: convert('cta_clicked')

Se não tiver certeza do componente, mostre as opções antes.

O prompt completo com sua API Key real está na aba “Pedir pra IA” do dashboard após criar o experimento.

Opção 2 — MCP do Testly (fluxo completo no editor)

O Testly MCP conecta o Claude Code diretamente à sua conta. Em vez de abrir o dashboard para criar um experimento, você descreve o que quer testar e o Claude cria, retorna o código pronto e implementa no seu projeto.

Você → Claude Code → Testly MCP → Supabase
                         ↓
              Experimento criado + código gerado

Instalação

1. Execute o assistente de configuração

npx @testlyjs/mcp setup

O assistente vai pedir sua chave de produção (tk_live_...) e, opcionalmente, sua chave de desenvolvimento (tk_test_...). As chaves ficam salvas em ~/.testly/config.json — nunca no histórico do shell. Você encontra suas chaves em app.testly.com.br/settings.

2. Adicione o MCP ao Claude Code

claude mcp add testly -- npx @testlyjs/mcp

Nenhuma chave no comando. O MCP lê a configuração salva automaticamente.

3. Verifique

Abra o Claude Code e peça:

Liste meus experimentos do Testly

Uso

Com o MCP configurado, você faz tudo em linguagem natural:

Criar experimento

“Crie um teste A/B para o botão do hero”

Ver resultados

“Qual variante está ganhando no meu teste do hero?”

Listar ativos

“Liste todos os meus experimentos rodando”

Controlar

“Pause o experimento pricing-test”

Exemplo completo

Fluxo real de criar e integrar um teste A/B sem sair do editor: 1. Você diz ao Claude:

Crie um teste A/B chamado "Hero CTA Color" para testar se um botão verde 
converte mais que o azul. O evento de conversão é "cta_clicked".

2. Claude cria o experimento via MCP e responde:

✅ Experimento criado: "Hero CTA Color"

Key: hero-cta-color
Variantes: control, variant-b
Dashboard: app.testly.com.br/experiments/hero-cta-color

── Integração ──

1. npm install @testlyjs/react

2. <TestlyProvider apiKey={process.env.TESTLY_API_KEY}>
     <App />
   </TestlyProvider>

3. const { variant, convert } = useExperiment('hero-cta-color');

   if (variant === 'variant-b') {
     // botão verde
   }

   // no clique:
   convert('cta_clicked');

3. Claude escreve o código no seu arquivo automaticamente.

Ferramentas disponíveis

Ferramenta	O que faz
`create_experiment`	Cria experimento e retorna código de integração
`list_experiments`	Lista todos os experimentos com status e impressões
`get_results`	Retorna taxa de conversão, uplift e veredito estatístico
`start_experiment`	Inicia um experimento pausado
`stop_experiment`	Pausa um experimento ativo

Configuração avançada

Usar a chave de desenvolvimento (Dev Mode)

Se você configurou uma chave tk_test_ no setup, ative o Dev Mode passando TESTLY_ENV=development:

claude mcp add testly -e TESTLY_ENV=development -- npx @testlyjs/mcp

O MCP vai usar automaticamente a chave tk_test_ salva na sua config. Experimentos criados em Dev Mode ficam isolados — dados de teste nunca afetam suas métricas de produção.

Via arquivo `.mcp.json` (Cursor, Windsurf, compartilhar com o time)

Após rodar o setup, cada membro do time usa o próprio ~/.testly/config.json — as chaves não ficam no repositório.

{
  "mcpServers": {
    "testly": {
      "command": "npx",
      "args": ["@testlyjs/mcp"]
    }
  }
}

Para Dev Mode no .mcp.json:

{
  "mcpServers": {
    "testly": {
      "command": "npx",
      "args": ["@testlyjs/mcp"],
      "env": { "TESTLY_ENV": "development" }
    }
  }
}

Compatibilidade com versão anterior

Se preferir continuar passando a chave diretamente (fluxo antigo), ainda funciona:

claude mcp add testly -e TESTLY_API_KEY=tk_live_... -- npx @testlyjs/mcp

A variável de ambiente tem prioridade sobre a config local.

​Opção 1 — Prompt direto (sem configuração)

​Opção 2 — MCP do Testly (fluxo completo no editor)

​Instalação

​1. Execute o assistente de configuração

​2. Adicione o MCP ao Claude Code

​3. Verifique

​Uso

Criar experimento

Ver resultados

Listar ativos

Controlar

​Exemplo completo

​Ferramentas disponíveis

​Configuração avançada

​Usar a chave de desenvolvimento (Dev Mode)

​Via arquivo .mcp.json (Cursor, Windsurf, compartilhar com o time)

​Compatibilidade com versão anterior

Opção 1 — Prompt direto (sem configuração)

Opção 2 — MCP do Testly (fluxo completo no editor)

Instalação

1. Execute o assistente de configuração

2. Adicione o MCP ao Claude Code

3. Verifique

Uso

Exemplo completo

Ferramentas disponíveis

Configuração avançada

Usar a chave de desenvolvimento (Dev Mode)

Via arquivo `.mcp.json` (Cursor, Windsurf, compartilhar com o time)

Compatibilidade com versão anterior