Avez-vous déjà essayé de mesurer la vitesse de votre site avec Test My Site ?
A l’occasion de la mise à disposition de la nouvelle version de cet outil développé par Google pour promouvoir la web performance, Anthony Barré, l’un de nos experts webperf, s’est penché dessus pour décrypter les conditions des tests et analyser les résultats.
Dans cet article, nous allons voir en détail pourquoi c’est avant tout un outil marketing qui reste limité pour un usage par la communauté webperf.

Comprendre les conditions des tests

Dans cet article publié précédemment sur notre blog, nous vous expliquions comment mesurer les impacts business de la webperf mobile avec Test My Site. Comment sont réalisés les tests ? D’où viennent les données présentées dans les rapports ? Pour commencer, re-situons Test My Site dans l’environnement Google.

Lighthouse et les données CrUX

Test My Site fait appel aux mêmes outils que Page Speed Insight :

  • Lighthouse (Synthetic Monitoring). C’est l’extension Chrome qui analyse en détail les pages web pour établir des audits de performance, de compatibilité PWA, d’accessibilité, de SEO... Les rapports générés sont à destination d’un public averti, ils sont établis sur la base de deux navigations successives (run).
  • Les données réelles de chargement des pages collectées de façon anonyme par Google via Chrome (Real User Monitoring).

Elles sont regroupées au sein d’une base de données appelée CrUX (ChRome User eXperience). Elle comprend actuellement plus de 5 millions de sites web à fort trafic. Si votre site n’est pas dans cette base de données, Test My Site (comme Page Speed Insight) fait un appel supplémentaire sur votre site lors de son exécution.

Les conditions de localisation et de connexion de Test My Site

Nous avons testé l’outil depuis nos ordinateurs (en France) en choisissant différents pays (Espagne, France, Mexique), et nous avons remarqué que tous les tests étaient effectués depuis le datacenter de Google en Allemagne. Voici un exemple avec le test du site bikeshop.es (notez que les propositions changent en fonction du site testé) :

Nous l’avons découvert en vérifiant quels points de présence de notre CDN étaient sollicités : il s’agissait systématiquement du point de présence de Francfort. Nous avons complété ces tests en les lançant aussi depuis les USA, et les appels venaient cette fois des USA.

Nous avons pu en conclure que les tests sont effectués depuis la zone où on se situe quand on les lance - contrairement à WebPageTest qui utilise des agents situés dans les pays cibles.

Remarque importante, ces tests Lighthouse sont effectués avec une connexion native et les résultats sont extrapolés en fonction d’un algorithme, ce qui peut induire une marge d’erreur et qui diffère des tests Lighthouse lancés par WebPageTest par exemple (où la connexion est simulée).

Quant au nombre de runs, il y en a systématiquement 2 à 3 sur les tests que nous avons effectués. C’est peu. Il en faudrait une dizaine pour que les temps de chargement indiqués soient plus fiables, d’autant qu’une seule donnée telle que celle affichée dans les résultats ne permet pas de tirer des conclusions sur la performance web d’un site. Il faudrait pour cela plusieurs indicateurs webperf (Speed Index, Start Render, Time To First Byte…).

En effet, la limite du fait de se baser sur un seul indicateur est qu’il n’offre qu’une vision partielle des performances, ignorant la multiplicité et la complexité des facteurs qui interviennent dans la perception de vitesse de chargement d’une page. C’est précisément pour éviter ce biais que Fasterize prend en compte 7 à 8 métriques.

Pour toutes ces raisons, Test My Site est un outil sympathique pour des mesures de performance visant à nourrir une stratégie SEO, marketing ou business, mais nous allons voir pourquoi d’un point de vue technique les résultats sont à relativiser.

Comment lire les résultats de Test My Site ?

L’audit de vitesse de Test My Site

Si vous faites partie du panel de Google, la première partie de la page de résultats de Test My Site reprend les données CrUX (et si vous n’en faites pas partie, rendez-vous au dernier paragraphe de cet article). Elle indique la vitesse du site en se basant sur le First Contenftul Paint (FCP), soit le moment auquel la page commence à s’afficher dans le navigateur. C’est un indicateur mis à jour une fois par mois qui correspond au 90ème centile des données recueillies par Google. C’est un équivalent du Start Render de WebPageTest que nous reprenons d’ailleurs dans les résultats des analyses de notre plateforme.

A noter que la première version de Test My Site utilisait le Speed Index comme indicateur de vitesse mais toujours sous le vocable “temps de chargement”.

Comme nous l’avons vu plus tôt, les données CrUX sont recueillies sur plusieurs pays, ce qui permet d’évaluer la vitesse d’affichage selon la localisation. Ce sont des données réelles relevées par Chrome issues d’un panel d’utilisateur.rice.s, et non des tests synthétiques pour lesquels on aurait choisi une vitesse, une localisation et des conditions de navigation.

Quid de l’indicateur Rating de Test My Site ? Il évalue la rapidité d’un site en fonction de tranches définies par Google : Rapide : 0,1 seconde / Moyennement rapide : 1 à 2,5 / Slow : 2.5 secondes ou plus.

Quant à la Tendance mensuelle, il s’agit de la comparaison avec la période précédente.

La section “Benchmark and Evaluate”

Cette section permet de comparer la vitesse du site testé avec celle d’autres sites - jusqu’à 10. Pour ce module de comparaison, Test My Site s’appuie toujours sur :

  • les données CruX réelles issues de la base des 5 millions de sites du corpus composé par Google,
  • et le FCP, combiné avec DOMContentLoaded et onload (c’est pour cette raison que le classement peut ne pas respecter l’ordre croissant des chiffres affichés dans la colonne Site Speed).

Pour une rapide analyse concurrentielle par des équipes Marketing ou Sales, cette fonctionnalité est très intéressante. Mais pour des raisons de méthodologie (une seule métrique, notamment), l’outil reste trop limité pour adresser des besoins techniques.
Pour ce faire, mieux vaut lui préférer des outils de mesure plus pointus comme WebPageTest.

Evaluation de l’impact business d’un site plus rapide

Pour ce module dont nous avons déjà parlé sur notre blog, l’analyse est basée sur 383 000 profils uniques récupérés via Google Analytics, sur une année dans le monde entier.

Comment optimiser les pages de votre site

Alors que le temps indiqué dans le 1er module en haut de page est issu de données réelles sur l’ensemble du site, celui affiché ici correspond à une seule page testée par Lighthouse. Il est donc nécessaire de prendre du recul puisque que, comme nous l’avons vu, très peu de runs sont effectués et pour un seul contexte et seul le FCP est pris en compte - ce qui est toujours moins représentatif que le Speed Index ou le Time To Interactive pour traduire une expérience de navigation.

Nous avons aussi vu que nos tests étaient effectués depuis l’Allemagne, ce qui est aussi moins proche des conditions réelles que nous connaissons depuis la France, en ce qui nous concerne.

Bref, pour estimer la performance de votre site, la donnée annoncée en haut de page dans le 1er module de résultats reste plus pertinente.

En revanche, même génériques, les recommandations d’optimisations webperf restent intéressantes. Ce sont (ici aussi) celles de Lighthouse et elles constituent une bonne base de réflexion. Attention toutefois à ne pas les appliquer à la lettre ! Mieux vaut l’avis d’un expert avant de vous lancer pour vous assurer qu’elles sont adaptées à votre site, et comment les déployer pour éviter qu’elles ne se révèlent contre-productives si elles ne sont pas appliquées intelligemment.

Et si vous ne faite pas partie du panel

Quelques limites de Test My Site pour un site qui ne fait partie du panel des 5 millions de sites sélectionnés par Google : les données seront malheureusement moins complètes.

Le rapport généré propose alors seulement les données en 4G et indique la vitesse de la page uniquement d’après Lighthouse (et nous avons vu que dans ce cas, les données sont à prendre en compte avec précaution dans la mesure où elle ne sont pas pondérées).
Les “petits” sites n’ont pas non plus accès au module de comparaison, ni au calcul des impacts business.

Ainsi, pour les sites qui ne font pas partie du panel Google (alors qu’internet compte des milliards de sites), Test My Site n’aura que peu d’intérêt.

En conclusion, Test My Site s’est beaucoup amélioré par rapport à la version précédente, notamment du fait de l’intégration de données réelles de navigation (CrUX), et de la prise en compte du FCP au lieu du temps de chargement (window.onload).
Cet outil proposé par Google présente l’avantage d’être gratuit et facile d’accès. Il est pratique et recommandé pour des équipes métier pour un aperçu des KPI webperf d’un site, mais pour des données techniques précises qui serviront de socle pour procéder à des optimisations webperf, mieux vaut s’appuyer sur des outils plus poussés et les recommandations d’experts sur le sujet.

 


Les points à retenir :

  • Les tests sont effectués depuis la zone géographique de l'utilisateur.rice qui les lance.
  • Pour la partie mesure, Test My Site reprend les données CrUX si elles sont disponibles, et sinon, utilise un test Lighthouse.
  • Si les données CrUX sont disponibles, la vitesse du site indiquée est le 90ème centile du FCP (90% des utilisateurs de la population visées par le CrUX ont un FCP inférieur). A prendre avec du recul donc.
  • Pour les données Lighthouse, la vitesse du site indiquée est le FCP du test en question.
  • Les recommandations d’optimisations se basent sur les données Lighthouse issues de tests lancés sur une seule page. Elles sont intéressantes mais restent génériques.
  • Si votre site ne fait partie du panel de Google (CrUX), les données proposées sont plus limitées - notamment pas de benchmark ou de calcul d'impact.

 

Vous souhaitez en savoir plus sur le décryptage et l’analyse de votre webperf ?
Téléchargez le livre blanc

 


Hello SMX Paris !