Analítica web
Reflexiones desde el mercado español de Analítica Web

QA Testing: Prueba tus test A/B

Se lee en 3 minutos

¿Qué es QA testing? Cuando pones en marcha un experimento de CRO/testing, ¿estás seguro que funcionará para todos los visitantes? ¿lo pruebas?

Conforme crece el número de experimentos (tests AB o Multivariantes) que ejecutamos a lo largo del año dentro de nuestra estrategia de optimización, menos tiempo tenemos de asegurarnos que lo que hacemos es excelente, especialmente cuando hablamos de garantizar la calidad y compatibilidad de los experimentos con todos los perfiles de usuario y tecnologías.

testing-AB

Debemos ser capaces de sobreponernos a la rutina e incorporar a la misma mecanismos que garanticen la máxima compatibilidad y mínimo impacto en la experiencia del usuario de nuestros test AB.

De esta forma, queremos aprovechar este post para presentaros el QA Testing, que es, precisamente, la disciplina que te permite garantizar la validez de los resultados de tus tests A/B, probando, analizando y detectando errores de implementación del test antes de que éste sea publicado a todos los visitantes.

El objetivo final es, como en la mayoría de los casos, educar al equipo responsable de la optimización a probar los test que planeamos desplegar antes de publicarlos al público en general, asegurándose, en un entorno de producción real, de que el rendimiento de los mismos es el esperado, alcanzando, así, la excelencia.

A continuación os exponemos una serie de puntos clave que es conveniente repasar a conciencia antes de publicar cualquier experimento:

1. Prueba que la experiencia de usuario de las distintas versiones es correcta en todos los navegadores:

Es muy común que por una implantación deficiente de la herramienta de testing se produzca un efecto de “Flashing” o “Flickering” cuando se ejecuta un test, en la que se inicialmente se visualiza una experiencia para posteriormente mostrar otra. Valida que la herramienta está correctamente implantada en la página; normalmente buscaremos que el código esté al inicio de la apertura de la etiqueta <head> de la página, antes que cualquier otro (por ejemplo Optimizely, Maxymiser o Adobe Target Standard).

Si utilizas un Tag Manager para desplegar la herramienta de Testing, comprueba que ésta se despliegue antes que cualquier otro tag y, preferiblemente, al inicio del <head> de la página de forma síncrona.
Una vez comprobado lo anterior, debes forzar las distintas experiencias del test en el máximo número de navegadores posible, comprobando en cada caso que las experiencias se muestran correctamente. Para ello, existen distintas técnicas que te permitirán activar el test en producción “only for your eyes”, es decir, sólo tú lo verás, directamente en un entorno productivo. Enumeramos, a continuación, algunas de las estrategias más utilizadas:

Generar una Cookie personalizada en tu navegador y ajustar el targeting de tu test para que sólo los usuarios con esa cookie (tú) entre en el test.

QA AB Testing Cookie Audiencia

Otra opción (la que más me gusta) es modificar el targeting de tu test para que solo sirva a aquellos visitantes que añadan a la URL del experimento un parámetro personalizado. Por ejemplo, una buena idea sería forzar el experimento a la URL:

www.ejemplourltest.com?divisadero=testing

De esta forma, nadie, salvo nosotros, verá el test, y podremos realizar nuestras pruebas de rendimiento directamente en producción sin exponer a los visitantes a posibles errores de implementación del test.

QA AB Testing Query String Audiencia

Por último, la mayoría de las herramientas del mercado ofrecen actualmente la posibilidad de forzar la visualización de experiencias determinadas en un escenario de producción, sin que sea necesario activar el test al público. En Optimizely, podemos utilizar la funcionalidad de “Preview Experiences”:

QA AB Testing Optimizely

Mientras que Adobe Target nos ofrece URLs “Experiences URL(s)” únicas para cada experiencia, que solo deberemos cargar en nuestro navegador.

QA AB Testing Target

2. Prueba que se recogen correctamente los eventos de conversión planteados para el test:

Fuerza la visualización de cada una de las experiencias servidas en el test y completa al menos una conversión de cada tipo para cada experiencia. Para ello, debes ser capaz de identificar las cabeceras HTTP de la herramienta de testing que se utilizan para monitorizar la conversión de tu test. Además, debes revisar que se registran correctamente en la herramienta, y se asignan a la experiencia mostrada.

Es importante reseñar que, si desde un mismo equipo queremos visualizar las distintas alternativas de un experimento, debemos limpiar las cookies cada vez que accedamos a la página del test. La mayoría de las herramientas de testing se basan en Cookies para identificar al visitante, por lo que si no borramos las cookies de la herramienta, visualizaremos la misma versión continuamente (salvo casos particulares, el mismo visitante siempre verá la misma experiencia).

¿Cómo garantizas la calidad de tus tests A/B? ¿Sigues algún procedimiento para comprobar que tus experimentos son funcionales en todos los dispositivos y navegadores?

¿Quieres saber más sobre testing y personalización? Te lo contamos aquí.

Escribe tu comentario

dos + Trece =

Navegar