Comienza con una pregunta clara y una hipótesis verificable. Selecciona la población adecuada, estima tamaño de muestra y duración realista. Decide de antemano qué harás si el resultado es nulo o ambiguo. Evita p-hacking y confirmacionismo; rescata aprendizaje incluso cuando el número no celebra fuegos artificiales.
Lanza a un 1%, observa latencia, errores y métricas críticas de experiencia. Sólo escala si los guardarraíles permanecen estables. Este enfoque protege a los usuarios y al negocio, y reduce debates emocionales. Cuando un experimento falte al respeto a la seguridad, se detiene sin drama, se aprende y se reintenta.
La significancia estadística es insuficiente sin magnitud práctica. Evalúa tamaño del efecto, coste de implementación, riesgos operativos y facilidad de revertir. A veces, un resultado modesto pero seguro gana al gran efecto frágil. Priorizar con estos lentes evita sorpresas, deuda invisible y victorias que no resisten la realidad.