Test A/B
Un test A/B compara variantes asignadas a grupos para estimar su efecto sobre un resultado definido
Qué significa, cómo se usa y en qué contexto aparece, con sus conceptos relacionados.
Qué es y cómo funciona
Un diseño riguroso establece hipótesis, métrica, asignación y criterio de análisis antes de interpretar resultados. Es necesario considerar tamaño de muestra, duración e incertidumbre. Una diferencia observada durante unos pocos días no demuestra por sí sola que una variante sea mejor.
Temas
Variantes y conceptos vinculados
- MVT. Un test multivariante combina cambios en varios elementos para estudiar efectos. Requiere diseño y muestra adecuados a su mayor complejidad.
Preguntas frecuentes sobre Test A/B
¿Por qué no conviene detener un test A/B al primer resultado favorable?
Porque las diferencias fluctúan y mirar repetidamente puede llevar a elegir un momento afortunado como si fuera una conclusión. El diseño debe fijar un criterio de análisis adecuado, incluida la posibilidad de un método secuencial si se necesita revisar durante la prueba. Además de incertidumbre, importa el tamaño útil del efecto y lo que ocurre con otras métricas. Una diferencia detectable no obliga a implantar un cambio que apenas aporta valor.