Homme réalisant une analyse des logs avant que le SEO n’existe
L’analyse des logs, que l’on peut traduire par analyse des bûches journaux est un exercice qui peut sembler complexe au premier abord, mais qui s’avère indispensable si vous souhaitez optimiser le SEO d’un site contenant plus de 100 000 pages.
S’il est courant de croire que l’optimisation des moteurs de recherche se résume à des mots-clés, contenu et autres backlinks, ces simples notions ne sont pas suffisantes. L’analyse des logs est d’une grande valeur pour le SEO technique, puisque ces fichiers renferment des trésors d’informations sur la manière dont Google (et les autres) interagissent avec votre site.
Explorons ensemble cet univers étrange du SEO, où se retrouvent tous les référenceurs désireux d’exploiter au maximum le potentiel de référencement d’un site web !
Qu’est-ce que l’analyse de logs ?
Les logs, c’est au départ un fichier. Celui-ci stocke tous les passages sur le serveur d’un site internet. C’est pour cette raison que l’on parle de journal. L’intérêt d’un tel fichier est qu’il permet de savoir ce qu’il se passe réellement sur vos pages.
Quand des internautes ou des robots de crawl accèdent à vos pages et leurs ressources (CSS, images, scripts…), ceux-ci laissent une trace dans les fichiers logs. Une nouvelle ligne se crée dans le journal, ce qui vous permet de faire une analyse par la suite.
Dans ce fichier l’on retrouve des informations diverses telles que l’adresse IP, le moteur de recherche qui a conduit au site, le code de statut des pages visitées, le système d’exploitation, la date et l’heure…
Pourquoi l’analyse de logs est importante pour votre SEO ?
Pour comprendre pourquoi l’analyse de logs est importante, il faut revenir en premier lieu sur la notion de budget crawl. Ce terme fait référence au nombre de pages que les moteurs de recherche, comme Google, sont disposés à explorer pendant une certaine période de temps. Celle-ci est limitée, bien qu’elle évolue en fonction de la taille et du trafic du site.
Le budget crawl est important pour les grands sites web, parce que toutes les pages ne peuvent être parcourues en une fois. Analyser ses logs, c’est ainsi avoir une idée de la rapidité avec laquelle Google accède à vos nouvelles pages, ou tient compte de la modification de certaines pages.
C’est donc cela le but premier de l’analyse de logs, avoir une vue fiable sur le budget crawl qui vous est alloué. Mais cela vous donne également accès à plein d’autres informations inhérentes au SEO :
- Repérer les pages orphelines, autrement dit celles qui ne sont pas maillées au reste du site internet
- Découvrir les pages qui ne sont pas prévues pour être parcourues par Google, mais le sont quand même
- Identifier les ressources bloquantes pour les optimiser en ce sens
- Constater la volumétrie des page crawlées par Google, et par extension celles qui ne le sont pas
- Voir la fréquence de passage d’un Googlebot
- Déceler les pages stratégiques pour le SEO qui sont ignorées
- Voir son site web exactement comme le voient les robots de Google
Bien sûr, il ne s’agit pas juste de faire un constat. Il faut aussi tirer des conclusions qui amèneront à des optimisations SEO concrètes. Vous pouvez par exemple adapter votre maillage interne, corriger les ressources qui posent des problèmes de crawl, ou bien encore savoir à quel moment votre dernière URL publiée sera prise en compte par Google.
Comment réaliser une analyse de logs ?
Bien entendu, avant d’analyser ces données, vous devez récupérer vos fichiers de logs présents sur votre serveur. N’essayez pas de regarder les données brutes telles quelles, elles sont inexploitables pour un être Humain. Plusieurs outils existent pour vous épauler dans cette tâche, chacun ayant un type de visualisation bien précis. Nous reviendrons plus tard sur les outils les plus populaires.
Votre première tâche sera de trier les informations pour en tirer des enseignements. Vous pouvez par exemple commencer par vérifier les pages les plus crawlées par les robots et les plus parcourues par les utilisateurs, afin de voir s’il y a une corrélation entre les deux. Si un Googlebot se comporte différemment de ce qui était prévu, c’est qu’il y a un problème dans la structuration de vos liens internes.
A ce titre nous vous invitons à repérer et isoler les erreurs 404 (ressource non trouvée). Idem pour les redirections temporaires 302, qui n’allouent pas de PageRank interne. Dans les deux cas nous vous invitons à mettre en place des redirections permanentes 301, et démailler tous les liens internes pointant vers ces pages.
L’autre aspect très intéressant concerne les erreurs 500. Comme celles-ci attestent d’un problème de disponibilité du serveur, leur accroissement soudain vous permet de savoir si votre serveur est suffisamment dimensionné pour recevoir un trafic élevé lors des périodes de forte audience.
Isolez les pages stratégiques pour votre SEO, afin de détecter si elles sont bien prises en compte par Google. Si les robots ne les parcourent pas, c’est qu’il y a de gros problèmes de maillage interne. Pour cela, il est pertinent que vous réalisiez une segmentation de vos URL. Regroupez celles conçues spécifiquement pour votre référencement naturel, et faites également des groupes qui répondent à une logique commune. Par exemple, pour un E-commerce vous pouvez avoir un segment fiche produit, catégorie, articles de blog… Cela vous permettra ainsi d’identifier des URL dupliquées qui font perdre du temps au Googlebot.
Deux notions très importantes émergent d’un log :
- La fréquence de crawl : quel est le rythme de passage des robots ?
- La fenêtre de crawl : combien de jours sont nécessaires aux robots pour parcourir l’intégralité de votre site ?
Vous l’aurez compris, le sujet est vaste et nous ne faisons que relever les aspects les plus courants d’une analyse de logs. Cela reste un travail sur mesure par excellence, qui doit s’adapter à un contexte. Par exemple, si vous venez de rendre le design de votre site responsive, une analyse spécifique du parcours du Googlebot affecté à l’indexation mobile sera important.
Quels sont les meilleurs logiciels pour l’analyse de logs ?
La théorie c’est bien beau, mais comment mettre tout cela en pratique ? Il existe de nombreux outils spécialisés, chacun avec ses particularités. Nous nous concentrerons sur quatre d’entre eux :
Screaming Frog Log Analyser est, comme le crawler SEO de la même entreprise, un outil qui tourne directement sur votre ordinateur. Un fait assez rare pour être remonté ! S’il est intéressant pour la lecture des logs, il n’est pas suffisant pour une analyse complète.
Malgré tout, Screaming Frog Log Analyser vous donne des indications pertinentes sur le comportement des robots de crawl : fréquence des visites, analyse des codes de statut, identification des URL explorées… Notez enfin qu’il vous permet de tester votre fichier robots.txt, au cas où.
SEOlyzer a pour grande force de vous permettre d’analyser vos logs en temps réel. C’est très pratique pour suivre vos indicateurs-clés de performance de manière instantanée ! Bien évidemment, cela vous permet d’être très rapidement alerté en cas de problème.
L’autre point intéressant de cet outil est la visualisation des données. Vous pouvez profiter de beaux tableaux de bord et de graphiques pour repérer en un clin d’œil les éventuels problèmes.
Oncrawl est, comme son nom l’indique, originellement un crawler sous la forme de solution SaaS. Toutefois, ils ont également développé un outil spécifique pour l’analyse de logs. Là encore nous sommes sur une solution très visuelle et user friendly. Point notable : il permet d’avoir directement une surveillance sur le budget crawl.
Vient enfin Botify, le logiciel utilisé par notre agence SEO. Comme d’habitude, ce logiciel fait partie des solutions les plus techniques, mais une fois passé un premier temps d’adaptation les données sont très pertinentes. L’analyse de logs avec Botify est privilégiée par nos équipes pour sa puissance. Mention spéciale aux pages orphelines.
