Conversión V22.55%Horizon 2.09%
Ventas por sesión V2S/ 4.01Horizon S/ 3.10
Confianza hoy75%se pide 95% para decidir
Fecha estimada para decidir11 de diciembre16,796 sesiones por versión
1. Resultado acumulado
Datos de Shopify separados por versión del rollout. El 22/10 se cuenta desde las 12h porque el test arrancó a las 11:30.
| Acumulado 22/10 12h al 27/10 6 pm | Horizon | V2 | Diferencia |
|---|---|---|---|
| Sesiones | 1,915 | 1,648 | |
| Pedidos | 40 | 44 | +4 |
| % de conversión | 2.09% | 2.55% | +22% |
| Ventas | S/ 5,931 | S/ 6,611 | +11% |
| Ticket promedio | S/ 148.28 | S/ 150.25 | igual |
| Ventas por sesión | S/ 3.10 | S/ 4.01 | +30% |
| Agregan al carrito | 5.3% | 6.1% |
Día a día
| Día | Horizon sesiones | Horizon pedidos | Horizon conv. | V2 sesiones | V2 pedidos | V2 conv. | Gana |
|---|---|---|---|---|---|---|---|
| Jue 22/10 desde 12h | 151 | 6 | 3.97% | 156 | 8 | 4.49% | V2 |
| Vie 23/10 | 332 | 7 | 2.11% | 289 | 8 | 2.42% | V2 |
| Sáb 24/10 | 388 | 5 | 1.29% | 364 | 7 | 1.92% | V2 |
| Dom 25/10 | 442 | 7 | 1.58% | 365 | 10 | 2.74% | V2 |
| Lun 26/10 | 372 | 9 | 2.42% | 282 | 8 | 2.84% | V2 |
| Mar 27/10 hasta 6 pm | 230 | 6 | 2.61% | 192 | 3 | 1.56% | Horizon |
La V2 gana 5 de los 6 días. El único que pierde es hoy, 27/10, el primer día con los cambios que se subieron a la V2 anoche. La probabilidad de que la diferencia acumulada salga por azar es de 25% (prueba de dos proporciones sobre pedidos por sesión). Se decide con 5% o menos.
Antes y después del cambio de la V2
El 26/10 a las 8:44 pm se subieron a la V2 los cambios de la revisión (galerías de 7 fotos, packs sin miniaturas, chips por beneficio, etiqueta de ahorro y complemento Dreams). Desde ahí la V2 ya no es la misma, así que se lee en dos tramos.
| Tramo | Horizon sesiones | Horizon pedidos | Horizon conv. | V2 sesiones | V2 pedidos | V2 conv. | Diferencia |
|---|---|---|---|---|---|---|---|
| Antes del cambio 22/10 12h al 26/10 9 pm | 1,621 | 33 | 2.04% | 1,424 | 41 | 2.74% | +35% |
| Después del cambio 26/10 9 pm al 27/10 6 pm | 294 | 7 | 2.38% | 224 | 3 | 1.34% | -44% |
El tramo nuevo tiene menos de un día y pocos pedidos (3 contra 7): con esa muestra todavía no se puede decir que los cambios bajaron la conversión. Si en 3 o 4 días la V2 sigue por debajo de Horizon en este tramo, conviene revisar los cambios uno por uno, empezando por la ficha de producto.
2. Antes vs ahora
Para comparar con justicia, el "esperado" usa la conversión histórica de cada día de la semana (1/9 al 21/10, sin el 16-18 por la caída de la web) con la misma mezcla del A/B: jueves a lunes.
| Conversión de la web | 2 semanas antes 8 al 21/10, sin 16-18 | 2 fines antes 3-4 y 10-11/10 | Esperado para estos días misma mezcla jue a mar | Horizon en el A/B | V2 en el A/B |
|---|---|---|---|---|---|
| Todo el A/B (jue 22 a mar 27) | 3.66% | 3.19% | 2.09% -34% | 2.55% -19% | |
| Solo fin de semana (sáb 24 y dom 25) | 2.05% | 2.41% | 1.45% -30% | 2.33% +14% | |
| Ticket promedio | S/ 147.11 | S/ 145.13 | S/ 148.28 | S/ 150.25 | |
| Ventas por sesión | S/ 5.41 | S/ 3.03 | S/ 3.10 | S/ 4.01 |
- Horizon está muy por debajo de su propio histórico. Para estos días se esperaba 3.19% y convirtió 2.09%. Horizon es la misma web de siempre, así que esa caída viene de afuera de la web: el tráfico de esta semana compra menos.
- La V2 se sostuvo cerca de lo normal con el mismo tráfico flojo. Esa es la mejor señal a favor de la V2 hasta ahora.
- El fin de semana pesa, pero no lo explica todo. Sábado y domingo siempre convierten menos (ver tabla de abajo), y aun así Horizon quedó por debajo de los fines anteriores.
Referencia: cómo convierte cada día de la semana (1/9 al 21/10)
| Día | Días medidos | Sesiones por día | Conversión web | Pedidos por día | Inversión Meta por día | CPA Meta |
|---|---|---|---|---|---|---|
| Lun | 7 | 667 | 3.94% | 26.1 | $198 | $8.50 |
| Mar | 8 | 658 | 3.78% | 25.5 | $202 | $9.34 |
| Mié | 8 | 600 | 3.23% | 20.9 | $194 | $11.31 |
| Jue | 7 | 618 | 3.86% | 24.1 | $198 | $9.99 |
| Vie | 6 | 509 | 3.50% | 19.2 | $159 | $9.73 |
| Sáb | 6 | 516 | 2.16% | 11.7 | $169 | $18.75 |
| Dom | 6 | 620 | 2.66% | 16.7 | $195 | $13.15 |
3. Cruce con Meta
Inversión y conjuntos por día, frente a las sesiones que llegan desde Meta según Shopify. Filas sombreadas: días del A/B. Filas grises: 16 al 18/10, web caída.
| Día | Inversión | Conjunto 1 Similar 4-5% | Conjunto 2 Compradores 180d | Awareness | Compras Meta | CPA | CPM | CTR | Clics | Sesiones desde Meta Shopify | Conv. sesiones Meta | Conv. web total |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Jue 8/10 | $197 | $85 | $94 | $18 | 16 | $12.33 | $1.71 | 0.44% | 507 | 520 | 1.9% | 2.82% |
| Vie 9/10 | $153 | $66 | $68 | $19 | 19 | $8.06 | $1.49 | 0.41% | 418 | 442 | 2.7% | 3.81% |
| Sáb 10/10 | $167 | $72 | $76 | $19 | 10 | $16.74 | $1.61 | 0.43% | 451 | 437 | 0.9% | 2.06% |
| Dom 11/10 | $209 | $102 | $83 | $24 | 14 | $14.94 | $1.75 | 0.40% | 481 | 569 | 1.8% | 2.09% |
| Lun 12/10 | $205 | $89 | $95 | $21 | 27 | $7.61 | $1.79 | 0.50% | 579 | 674 | 2.1% | 3.25% |
| Mar 13/10 | $159 | $64 | $78 | $17 | 25 | $6.36 | $1.67 | 0.36% | 341 | 365 | 4.9% | 5.35% |
| Mié 14/10 | $177 | $85 | $72 | $19 | 15 | $11.81 | $1.72 | 0.36% | 373 | 397 | 3.0% | 3.68% |
| Jue 15/10 | $165 | $69 | $77 | $19 | 22 | $7.51 | $1.62 | 0.35% | 362 | 393 | 3.3% | 4.50% |
| Vie 16/10 web caída | $185 | $89 | $76 | $19 | 15 | $12.30 | $1.87 | 0.46% | 455 | 513 | 1.0% | 3.16% |
| Sáb 17/10 web caída | $177 | $84 | $73 | $20 | 4 | $44.32 | $1.89 | 0.55% | 515 | 583 | 0.3% | 0.65% |
| Dom 18/10 web caída | $177 | $89 | $65 | $23 | 19 | $9.33 | $1.64 | 0.49% | 535 | 627 | 2.9% | 3.39% |
| Lun 19/10 | $155 | $75 | $60 | $20 | 22 | $7.02 | $1.58 | 0.44% | 435 | 452 | 2.7% | 4.44% |
| Mar 20/10 | $155 | $112 | $27 | $17 | 20 | $7.77 | $1.91 | 0.52% | 420 | 475 | 1.9% | 3.51% |
| Mié 21/10 | $106 | $96 | · | $10 | 20 | $5.32 | $2.06 | 0.44% | 228 | 276 | 2.9% | 6.25% |
| Jue 22/10 | $98 | $88 | · | $10 | 17 | $5.77 | $1.88 | 0.48% | 248 | 323 | 1.9% | 4.06% |
| Vie 23/10 | $110 | $100 | · | $10 | 10 | $11.00 | $2.06 | 0.54% | 286 | 466 | 1.5% | 2.25% |
| Sáb 24/10 | $120 | $111 | · | $9 | 11 | $10.95 | $2.40 | 0.68% | 339 | 570 | 1.1% | 1.60% |
| Dom 25/10 | $137 | $126 | · | $11 | 15 | $9.16 | $2.40 | 0.76% | 434 | 633 | 1.7% | 2.11% |
| Lun 26/10 | $103 | $92 | · | $11 | 14 | $7.33 | $1.88 | 0.55% | 301 | 440 | 1.6% | 2.60% |
| Mar 27/10 a medias | $89 | $83 | · | $6 | 8 | $11.12 | $2.35 | 0.62% | 234 | 272 | 1.8% | 2.13% |
Conjuntos: antes (8 al 21/10) vs durante el A/B
| Conjunto | Antes: inversión por día | Antes: CPA | Antes: ROAS | En el A/B: inversión por día 22 al 26/10 | En el A/B: CPA | En el A/B: ROAS |
|---|---|---|---|---|---|---|
| Conjunto 1: Similar 4-5% | $83.26 | $6.94 | 5.98 | $103.38 | $7.72 | 5.70 |
| Conjunto 2: Similar compradores 180 días | $66.35 | $9.36 | 4.67 | pausado | · | · |
| Awareness | $18.57 | · | · | $10.32 | · | · |
| Cuenta | $168.18 | $8.81 | 4.80 | $113.70 | $8.49 | 5.18 |
Conversión por fuente, antes vs A/B
| Fuente | Jue-vie antes: sesiones/día | conv. | Jue-vie A/B: sesiones/día | conv. | Fines antes: sesiones/día | conv. | Fin A/B: sesiones/día | conv. |
|---|---|---|---|---|---|---|---|---|
| Sesiones desde Meta | 421 | 2.42% | 394 | 1.65% -32% | 522 | 1.34% | 602 | 1.41% +5% |
| Directo y orgánico | 139 | 6.64% | 133 | 5.64% -15% | 118 | 4.65% | 146 | 3.75% -19% |
- El conjunto 2 está pausado desde el 20/10 y se llevaba unos $66 por día. Por eso la inversión en los días del A/B fue 38% menor que lo normal para esos días de la semana. El conjunto 1 subió un poco su gasto (de $83 a $103 por día).
- En Meta, el resultado mejoró. El CPA de la cuenta fue $8.49 cuando para esos días lo normal es $11.03. Con 38% menos inversión, los pedidos en Shopify bajaron solo 16% frente a lo esperado.
- Pero las sesiones que llegan de Meta compran menos. Shopify registra casi las mismas sesiones desde Meta que antes, con menos clics en los anuncios, y esas sesiones convierten menos los jueves y viernes. No se puede verificar con estos datos de dónde salen las sesiones extra (pueden ser publicaciones orgánicas con el mismo enlace o visitas repetidas).
- Para el test, esto no cambia la comparación. Shopify reparte a los visitantes al azar entre las dos versiones, así que este tráfico más flojo les llega a las dos por igual. Sí explica por qué ambas están por debajo del histórico.
4. Dónde gana la V2
Mismo acumulado, cortado por fuente de la visita y por dispositivo.
| Fuente | Horizon sesiones | Horizon conv. | V2 sesiones | V2 conv. | Diferencia |
|---|---|---|---|---|---|
| Meta (facebook) | 1,280 | 1.25% | 1,268 | 1.50% | +20% |
| Directo y orgánico | 563 | 3.55% | 293 | 5.46% | +54% |
| Klaviyo (email) | 52 | 3.85% | 65 | 7.69% | +100% |
| Dispositivo | Horizon sesiones | Horizon conv. | V2 sesiones | V2 conv. | Diferencia |
|---|---|---|---|---|---|
| Celular | 1,610 | 1.86% | 1,481 | 2.43% | +30% |
| Computadora | 298 | 3.36% | 163 | 3.68% | +10% |
- La V2 gana en el tráfico de Meta, que es el 71% de las visitas del test, con casi las mismas sesiones en cada versión. Es la comparación más limpia.
- Gana en celular, donde está el 87% del tráfico.
- En computadora, la V2 ahora también va adelante, aunque con pocas sesiones (unos 6 pedidos de la V2 contra 10 de Horizon, que recibió casi el doble de visitas). Con muestras así de chicas el resultado todavía se mueve.
- Desbalance en el tráfico directo: Horizon recibió 563 sesiones directas y la V2 293. El reparto total (53% contra 47%) está fuera de lo que da el azar. El tráfico directo convierte alto, así que este desbalance favorece a Horizon, y aun así la V2 va adelante.
5. Cuándo decidir
- Hacen falta unas 16,796 sesiones por versión para confirmar una diferencia de este tamaño con 95% de confianza. Al ritmo actual eso se alcanza alrededor del 11 de diciembre, después del 21/11, que es hasta cuando está programado el rollout. Como la diferencia se achicó, el test necesita más tiempo: o se extiende el rollout, o se decide el 21/11 con menos confianza que el 95%.
- El Cyber (2 al 7/11) cae justo antes. El tráfico promocional convierte distinto, pero como se reparte al azar sigue siendo comparable. Lo recomendable es leer el test el 1/11 (antes del Cyber) y otra vez después.
- Para no ensuciar el test: si se cambia la V2 en vivo, anotar el día y la hora del cambio. Y si se reactiva el conjunto 2, también anotarlo, porque cambia el tráfico de las dos versiones.