Template para criação de Hipótese e Experimentos
Template criado e usado pela Fernanda Monsó (Associate Manager Business Analytics - Nubank) no dia a dia dela.
No episódio recente no nosso podcast, recebi a Fernanda Monsó para falar sobre experimentação e growth junto com a Júlia Sousa.
Discutimos a importância da cultura de experimentação nas empresas, destacando a necessidade de testar, medir resultados e aprender com os experimentos. Também abordamos a possibilidade de 2024 ser o ano do growth, após um ano focado em eficiência.
Fernanda compartilha sua experiência e dá dicas sobre como equilibrar a experimentação com as tarefas diárias, além de explicar o processo de criação de hipóteses e a importância de um bom planejamento.
Por fim, falamos sobre a amostra e a confiança estatística nos testes, além da importância dos testes e a necessidade de múltiplas tentativas para obter resultados efetivos. Abordamos o tempo mínimo necessário para rodar um teste e como construir uma cultura de testes e experimentação.
Além disso, demos dicas para os primeiros passos para implementar uma cultura de testes, a gestão de tempo e a pressão por resultados imediatos, o papel do Growth na estratégia da empresa e dicas para transição de carreira para áreas de Growth e análise de dados.
Durante o episódio a Fernanda prometeu compartilhar um modelo para criação de experimento e hipótese, que você pode ver e usar no dia a dia.
Nome do Experimento
Status
Design | Em Desenvolvimento | Teste no ar | Finalizado | Autor
Contexto e Hipóteses
O que deveria ser testado e por quê? Inclua imagens se necessário. Use o framework de hipótese: se (...), então (...) porque (...)
Se [Resumo descritivo]
Ao [Remover/Adicionar/Mudar]
Então [Atingiremos um resultado]
Porque [Confirmação ou negação dessa crença/hipótese sobre o cliente]
Metodologia
Como deveremos testar? Quantas variantes? Quantos usuários serão testados? Inclua imagem das variantes e uma breve explicação de cada uma delas
Métricas de Sucesso
Quais métricas serão impactadas por esse teste?
Cálculo da amostra
Quantas pessoas serão impactadas por esse teste? Use um número estatisticamente significante que diminua os impactos gerais.
Critério de sucesso
O que é sucesso para esse teste?
Riscos Potenciais
Métricas de guardrail, alertas, etc
Depois do teste
Resultados
Quais foram os resultados do teste?
Recomendação
Com base nestes resultados, quais serão os próximos passos?
Ouça o episódio “Processo para criar e testar hipóteses” no YouTube , Spotify e Apple Podcast.