Los resultados del experimento se actualizan una vez a la semana hasta que finalice el experimento. Los resultados del experimento detallan el rendimiento de cada versión del contenido con los clientes, junto con la probabilidad de que el contenido ganador sea mejor. Para acceder a los resultados, sólo tienes que hacer clic en el nombre del experimento en el panel de control de experimentos.
En función de los datos que se recopilen durante el experimento, calcularemos una serie de posibles repercusiones que puede tener la publicación de cada uno de los contenidos. Se añaden los resultados de todos los ASIN registrados en el experimento. Proporcionamos varios tipos de resultados:
Para prever el impacto en un año, calculamos el promedio de aumento diario de ventas del contenido ganador y lo multiplicamos por 365. Esta estimación no tiene en cuenta la estacionalidad, los cambios en el precio ni otros factores que podrían afectar a tu negocio en el mundo real; se proporciona, por tanto, sólo con fines informativos y no podemos garantizar que se producirá ese aumento en los beneficios.
La columna Probable muestra la mediana (el valor correspondiente al 50 %) del intervalo de los posibles resultados que hemos calculado. Las columnas Mejor de los casos y Peor de los casos muestran el intervalo de confianza del 95 % de estos resultados.
Un experimento puede finalizar con resultados no concluyentes o con resultados que muestren una baja confianza en que una versión del contenido sea mejor que la otra. Pero, aun así, estos resultados pueden resultar útiles.
Estos son algunos de los motivos que pueden causar que los resultados de un experimento no sean concluyentes:
Consulta la hipótesis del experimento cuando intentes dar sentido a los resultados no concluyentes. Por ejemplo, en función de lo que hayas cambiado, un resultado no concluyente puede indicar que no te merece la pena invertir en un determinado tipo de contenido porque no influye en el comportamiento de los clientes o bien puede indicar que dos formas distintas de comercializar el producto generan prácticamente los mismos resultados. Puedes hacer otros experimentos para confirmar lo que has averiguado en las pruebas anteriores.
Estas notas sobre la metodología del experimento pueden ayudarte a entender cómo elegimos el ganador en los experimentos y su impacto en el tiempo, aunque no es obligatorio a la hora de hacer un experimento.
Los experimentos se basan en cuentas de cliente individuales. Durante un experimento, cada cuenta de cliente que ve tu contenido se considera parte del experimento. De forma aleatoria, se asignan clientes para que vean una versión del contenido de forma continuada durante el experimento, independientemente del tipo de dispositivo o de otros factores, siempre y cuando se pueda identificar al cliente. Las visitas a tu página en las que no se pueda identificar a un cliente no se incluirán en el tamaño de la muestra. Es posible que eliminemos automáticamente determinados tipos de datos de la muestra para que los resultados sean más precisos, como los valores estadísticos atípicos.
Para analizar los resultados de los experimentos utilizamos un enfoque bayesiano. Para ello, construimos una distribución de probabilidades basada en un modelo, así como en los resultados reales del experimento. Notificamos el tamaño del efecto medio (en términos de cambio en unidades) y el intervalo de confianza del 95 % (también conocido como intervalo de credibilidad) de la distribución de probabilidades posterior, lo cual se actualiza semanalmente durante el experimento en función de todos los datos que se extraen del experimento y que se recopilan desde el inicio. La confianza de un tratamiento ganador es el porcentaje de resultados en la distribución de probabilidades que muestran un impacto positivo en las ventas de unidades.
Para estimar el impacto en un año, calculamos la diferencia media entre las ventas del tratamiento ganador y el perdedor al día durante el proceso hasta ese momento y lo multiplicamos por 365. Proporcionamos un intervalo de confianza del 95 % para el impacto, que se basa en la distribución de probabilidades posterior.