Resultados del experimento

Los resultados del experimento se actualizan una vez a la semana hasta que finalice el experimento. Los resultados del experimento detallan el rendimiento de cada versión del contenido con los clientes, junto con la probabilidad de que el contenido ganador sea mejor. Para acceder a los resultados, sólo tienes que hacer clic en el nombre del experimento en el panel de control de experimentos.

Interpretación de los resultados

En función de los datos que se recopilen durante el experimento, calcularemos una serie de posibles repercusiones que puede tener la publicación de cada uno de los contenidos. Se añaden los resultados de todos los ASIN registrados en el experimento. Proporcionamos varios tipos de resultados:

1. La probabilidad de que una versión del contenido sea mejor. Por ejemplo, si decimos que hay una probabilidad del 75 % de que la versión A sea mejor, significa que el 75 % de los posibles impactos calculados muestran un probable aumento positivo de las ventas o unidades a raíz de la publicación de la versión A.
2. Para cada versión del contenido, mostramos: las unidades, las ventas, la tasa de conversión, las unidades vendidas por cada visitante único y el tamaño de muestra asignado a esa versión. La tasa de conversión es el porcentaje de visitantes únicos que han visto el contenido A+y han hecho una compra. El tamaño de muestra corresponde al número de visitantes únicos que han visto cada versión del contenido. Las unidades por visitante único divididas por el tamaño de muestra.
3. El impacto previsto en un año. Esta sección sólo se rellena cuando el experimento ha finalizado. Muestra una estimación del posible aumento de unidades y ventas durante el año siguiente a partir de la publicación de la versión ganadora del contenido. En el caso de los ganadores de confianza alta, notarás que la mayoría de los impactos previstos son positivos. En el caso de los ganadores de confianza baja, notarás que el impacto "en el peor de los casos" puede ser negativo. Esto se debe a que existe la posibilidad de que el contenido que ha obtenido peores resultados durante el experimento tenga mejores resultados con el tiempo. Las previsiones son estimaciones basadas sólo en los resultados de los experimentos y no hay otros factores, se proporcionan sólo con fines informativos y no son una garantía de rendimiento de ventas futuras.

Impacto previsto en un año

Para prever el impacto en un año, calculamos el promedio de aumento diario de ventas del contenido ganador y lo multiplicamos por 365. Esta estimación no tiene en cuenta la estacionalidad, los cambios en el precio ni otros factores que podrían afectar a tu negocio en el mundo real; se proporciona, por tanto, sólo con fines informativos y no podemos garantizar que se producirá ese aumento en los beneficios.

La columna Probable muestra la mediana (el valor correspondiente al 50 %) del intervalo de los posibles resultados que hemos calculado. Las columnas Mejor de los casos y Peor de los casos muestran el intervalo de confianza del 95 % de estos resultados.

Resultados no concluyentes

Un experimento puede finalizar con resultados no concluyentes o con resultados que muestren una baja confianza en que una versión del contenido sea mejor que la otra. Pero, aun así, estos resultados pueden resultar útiles.

Estos son algunos de los motivos que pueden causar que los resultados de un experimento no sean concluyentes:

• El cambio que has hecho en el contenido era demasiado pequeño para producir un cambio significativo en el comportamiento de los clientes.
• No hubo tráfico suficiente para determinar cuál era el contenido ganador de forma fehaciente.
• Las dos versiones del contenido que has probado tenían un comportamiento de ventas muy similar.
• El cambio que has hecho en el contenido no era relevante para la mayoría de clientes a la hora de decidir su compra.

Consulta la hipótesis del experimento cuando intentes dar sentido a los resultados no concluyentes. Por ejemplo, en función de lo que hayas cambiado, un resultado no concluyente puede indicar que no te merece la pena invertir en un determinado tipo de contenido porque no influye en el comportamiento de los clientes o bien puede indicar que dos formas distintas de comercializar el producto generan prácticamente los mismos resultados. Puedes hacer otros experimentos para confirmar lo que has averiguado en las pruebas anteriores.

Metodología del experimento

Estas notas sobre la metodología del experimento pueden ayudarte a entender cómo elegimos el ganador en los experimentos y su impacto en el tiempo, aunque no es obligatorio a la hora de hacer un experimento.

Los experimentos se basan en cuentas de cliente individuales. Durante un experimento, cada cuenta de cliente que ve tu contenido se considera parte del experimento. De forma aleatoria, se asignan clientes para que vean una versión del contenido de forma continuada durante el experimento, independientemente del tipo de dispositivo o de otros factores, siempre y cuando se pueda identificar al cliente. Las visitas a tu página en las que no se pueda identificar a un cliente no se incluirán en el tamaño de la muestra. Es posible que eliminemos automáticamente determinados tipos de datos de la muestra para que los resultados sean más precisos, como los valores estadísticos atípicos.

Para analizar los resultados de los experimentos utilizamos un enfoque bayesiano. Para ello, construimos una distribución de probabilidades basada en un modelo, así como en los resultados reales del experimento. Notificamos el tamaño del efecto medio (en términos de cambio en unidades) y el intervalo de confianza del 95 % (también conocido como intervalo de credibilidad) de la distribución de probabilidades posterior, lo cual se actualiza semanalmente durante el experimento en función de todos los datos que se extraen del experimento y que se recopilan desde el inicio. La confianza de un tratamiento ganador es el porcentaje de resultados en la distribución de probabilidades que muestran un impacto positivo en las ventas de unidades.

Para estimar el impacto en un año, calculamos la diferencia media entre las ventas del tratamiento ganador y el perdedor al día durante el proceso hasta ese momento y lo multiplicamos por 365. Proporcionamos un intervalo de confianza del 95 % para el impacto, que se basa en la distribución de probabilidades posterior.