Notre solution SaaS permet d’améliorer automatiquement la vitesse de chargement de votre site web. Notre moteur fonctionne comme un proxy dans le Cloud, et réécrit à la volée le code de vos pages pour optimiser le temps de chargement de votre site sur desktop et mobile, pour tous vos utilisateurs quel que soit le contexte de navigation. Mais en pratique, outre l’amélioration de la vitesse perçue par vos visiteurs, comment mesurer l’impact de l’optimisation de la vitesse de chargement sur vos conversions ? Dans cet article, voyons en détail comment tester les effets de Fasterize pour évaluer le ROI de notre solution.
Mesurer l’impact technique et business de Fasterize
Vous êtes tendance Saint-Thomas ou Lord Kelvin ? Vous avez bien raison ! Les effets des outils que vous déployez et des techniques que vous appliquez doivent pouvoir être mesurés. Voici deux cas de figure pour évaluer l’impact de notre solution SaaS :
Si votre test ne comporte pas de KPI business
Vous n’avez aucune action à réaliser.
Nous observons automatiquement une partie non-optimisée du trafic de votre site, et nous comparons les métriques techniques obtenues sur les 2 populations avec et sans optimisation. Nous mettons ensuite ces comparaisons à votre disposition sous forme de graphiques dans des dashboards.
Si votre test comporte des KPI business
Si votre test A/B comporte des mesures business, nous procédons toujours à cette séparation entre le trafic optimisé / non-optimisé, et vous devez mettre en place un tracking en complément.
Cela se fait en général via votre Tag Management System (Google Tag Manager, Commanders Act…). Sur notre Support, vous trouverez toutes les informations pour implémenter facilement un test A/B sur Google Analytics avec Google Tag Manager, pour faire du tracking business une fois que Fasterize est déployé.
Vous pouvez aussi procéder sans Google Tag Manager, par exemple en modifiant directement le code Google Analytics comme décrit ici. C’est aussi simple à activer, il faut compter moins de 10 mn.
Une fois le tracking en place, il vous suffit de vous baser sur la dimension personnalisée qui vient d’être créée pour ajouter de nouveaux segments, et ainsi comparer les utilisateurs avec et sans Fasterize.
Conseil d’expert : sachez qu’un test A/B business nécessite de prendre en compte différents paramètres, voici quelques données à avoir en tête pour une analyse des résultats pertinente.
Les paramètres à prendre en compte pour un test A/B business
Le sampling
Le sampling, ou échantillonnage, consiste à ne prendre qu’une partie des points de données pour établir des mesures. Dans notre cas, il est utile dans deux cas :
- pour la mesure des temps de chargement dans Google Analytics : Google mesure les temps de chargement de quelques pages seulement parmi toutes les pages vues par vos utilisateurs. Lors du test A/B, il se peut que vous ayez des mesures sur une page pour des utilisateurs optimisés et aucune mesure sur cette même page pour des utilisateurs non-optimisés, ce qui rend la comparaison caduque ;
- si votre audience est conséquente, Google ne garde qu’une fraction des mesures pour effectuer ses calculs de taux de conversion (la limite est de 250000 sessions), ce qui peut conduire à des aberrations. Le plus simple dans ce cas est d’agréger vous-mêmes les données.
Médiane vs. moyenne pour évaluer les temps de chargement
Lorsque vous analysez votre temps de chargement, concentrez-vous sur la médiane plutôt que sur la moyenne. En effet, la médiane n’est pas influencée par les valeurs extrêmes et minoritaires, alors que la moyenne l’est fortement.
La médiane est donc plus représentative de la réalité de la majorité des internautes.
Vous pouvez également étudier les percentiles 80, 90 et 95 (la médiane est le percentile 50).
Pour illustrer le propos : imaginons que 9 personnes chargent un site en 5 secondes mais qu’une personne charge ce même site en 100 secondes : la moyenne serait alors de 14,5 secondes, tandis que la médiane reste à 5 secondes. Vous voyez maintenant pourquoi la médiane est plus pertinente que la moyenne.
La durée de votre test
Votre test doit être mené sur une période de temps suffisante. Cela permettra de le stabiliser et collecter des données auprès de toutes les populations :
- les nouveaux utilisateurs reçevant le site optimisé ;
- les nouveaux utilisateurs recevant le site non-optimisé ;
- les “returning visitors” recevant le site optimisé ;
- les “returning visitors” recevant le site non-optimisé.
Au démarrage du test, certains visiteurs sont placés dans la catégorie “optimisé” alors qu’ils ont eu une expérience précédente sur une version non-optimisée. Il faut donc un certain temps avant que ces populations se stabilisent et soient clairement séparées.
Ce temps est variable selon le site monitoré. Il dépend de l’audience et du temps de prise de décision avant qu’un utilisateur ne convertisse, parce qu’on ne prend pas le même temps de réflexion pour acheter un vêtement ou un ordinateur.
La taille de l’échantillon
Pour savoir si votre test A/B est pertinent et pouvoir déterminer s’il y a bien une corrélation entre l’accélération du site et l’augmentation des conversions par exemple, vous devez faire le test du Khi2.
Il s’agit de savoir si vous avez suffisamment de données pour vérifier que le test A/B est fiable et que le résultat est bien corrélé à la modification que vous avez apportée à votre site web (l’amélioration de la vitesse des pages). Vous pouvez réaliser facilement le test du Khi2 avec cette calculatrice en ligne.
Vous savez maintenant tout ce qu’il faut pour réaliser un test A/B qui vous permettra d’évaluer concrètement votre ROI après avoir amélioré la vitesse de chargement de vos pages web ; et parmi nos clients, sachez que certains ont vu leurs conversions augmenter jusqu’à plus de 30 % !
Vous avez besoin d’aide pour déployer un test A/B,
ou vous souhaitez en savoir plus sur notre solution ?
