Comment fonctionne l’algorithme de Google ?

Pandu Nayak nous a fait certaines révélations étonnantes

Nous avons déjà eu l’occasion de vous parler du procès antitrust qui oppose Google au département de la Justice américain. Si un premier article a été l’occasion de parler de documents confidentiels qui ont été rendus publics, nous allons nous intéresser aujourd’hui à Pandu Nayak. Ce vice-président de Google Search a dit beaucoup de choses très intéressantes sur le fonctionnement du moteur de recherche. Bien entendu, il ne nous dit pas tout. Mais il est rentré dans un niveau de détail assez fascinant sur certains aspects. Faisons donc une synthèse de tout cela !

Sommaire

Comment fonctionne l’indexation ?

Nous savons tous que Google a un index, autrement dit une base de données où il enregistre toutes les pages web qu’il juge dignes d’intérêts. Mais comment fonctionne-t-il exactement ? En réalité, c’est comme l’index d’un livre : on y retrouve tous les termes clés qui seraient pertinents pour la recherche, et Google se contente d’y piocher les résultats les plus intéressants en fonction d’une requête donnée.

Sa taille est bien entendu phénoménale. En 2020 on comptait très approximativement 400 milliards de documents. Il serait facile de se dire que ce nombre ne fait qu’augmenter, mais la réalité est différente. Un travail d’épuration des contenus trop polluants peut faire diminuer ce nombre de pages totales. Pandu Nayak le dit lui-même : “Plus gros n’est pas nécessairement mieux, car vous pourriez le remplir de déchets.”

Nayak va plus loin dans sa définition de l’indexation. Google utilise d’une certaine manière un index inversé. Son mécanisme est le suivant :

On examine les mots de la requête
On parcourt dans l’index la liste des mots liés à cette requête
On fait un croisement avec la liste des pages indexées

Ce genre d’algorithme doit être particulièrement optimisé pour que toutes ces opérations se passent de manière quasi-instantanée. Comme on ne peut pas parcourir les listes du début à la fin, elles sont trop longues pour ça, l’index dispose d’un tri initial de manière à classer les pages les plus qualitatives le plus haut possible.

Comment fonctionne le classement ?

Comme des millions de pages web présentent dans l’index pourraient correspondre à la requête tapée par l’internaute, il est évident qu’un travail de tri s’impose. Nous sommes là dans le cœur du réacteur en matière de SEO. Des centaines d’algorithmes et de modèles d’apprentissage automatiques classent les pages qu’ils jugent les plus pertinentes, pour les faire figurer en tête des résultats de recherche.

Pandu Nayak explique qu’il y a “peut-être plus de 100 signaux de classement” sur Google. À notre humble avis, il y en a sûrement plus… Mais tout est très relatif. Par exemple, un même signal peut contenir en son sein une cinquantaine de sous-signaux.

Les signaux clés seraient :

Les mots sur la page web
L’actualité du document
La qualité des pages
La fiabilité des informations délivrées
La localisation de l’internaute au moment de sa recherche
Les clics de l’utilisateur et autres activités de ce genre

Il existe des algorithmes de base, présents depuis longtemps, et d’autres plus sophistiqués qui répondent à un besoin spécifique. Les plus basiques d’entre eux permettent de réduire le nombre de correspondances pour une requête donnée à plusieurs centaines de pages web. Ils fonctionnent selon un système de score, afin d’opérer un système de tri.

Toutefois, des centaines de documents c’est encore trop. C’est là qu’entrent en scène d’autres algorithmes qui ont pour objectif de filtrer plus en profondeur ces pages. Le premier d’entre eux est Navboost, un système de mémorisation vraisemblablement installé en 2005. Comme sa description l’indique, il a pour but de mémoriser l’historique des clics des utilisateurs sur toutes les requêtes des 13 derniers mois. En se focalisant sur les pages générant les meilleures interactions, il est possible de réduire les pages à un ensemble plus petit encore.

C’est avec ce corpus largement élagué que les systèmes d’apprentissage automatique peuvent entrer en jeu. Ces algorithmes sont plus récents que les autres, car ils dépendent des progrès de l’IA. Google a commencé à utiliser le deep learning en 2015 avec l’arrivée de RankBrain. Il examine une petite trentaine des meilleurs documents et ajuste leur note initiale si besoin. Comme c’est un processus coûteux en terme de ressources, il ne peut pas se permettre de fonctionner sur un plus gros corpus. RankBrain se met constamment à jour en s’appuyant sur les données utilisateurs.

Vient enfin DeepRank. Avec l’algorithme BERT, Google affine ses données de notation en tentant de comprendre le langage naturel tout en faisant preuve de bon sens. L’objectif est de trouver parmi les quelques pages web restantes la perle rare, celle qui sera réellement pertinente pour l’internaute.

Vous l’aurez compris, même pour un géant comme Google il y a des limites techniques en terme de capacité de données à traiter. C’est pour cette raison que l’IA est utilisée après de nombreux élagages. S’il ne dispose pas d’assez de puissance de calcul pour analyser toutes les pages du web avec un apprentissage profond, cela n’est au final pas très grave. N’oublions pas que les utilisateurs de Google s’arrêtent la plupart du temps aux 10 premiers résultats. C’est donc à ce niveau que tout se joue.

L’évaluation des SERP

Déterminer la qualité des SERP (pages de résultats de recherche) ne dépend pas que des machines. Partout dans le monde, 16 000 testeurs humains déterminent sur un grand nombre de requêtes si les résultats proposés sont pertinents ou non.

Cela donne un point de vue différent des résultats, nécessairement un peu plus subjectif. C’est une méthode complémentaire aux algorithmes de classement. Son grand intérêt est qu’il permet de trouver des points spécifiques à améliorer, indétectables par une machine. Il arrive d’ailleurs souvent de contrôler les requêtes qui renvoient des résultats considérés par les algorithmes comme de faible qualité, afin de comprendre ce qu’il se passe sur ces situations très spécifiques.

Google peut également mobiliser des évaluateurs humains pour expérimenter tout changement de classement trop brusque. Quand il n’y a que l’ordre des documents présentés qui varie, les notes des évaluateurs ne changent pas. Mais si de nouveaux résultats arrivent, ceux-ci sont notés. Plus les évaluateurs sont réactifs, plus il est possible d’itérer rapidement sur les expérimentations algorithmiques.

Comme il est demandé aux évaluateurs de se mettre à la place de l’utilisateur type, cela fait quelques années que tous les tests se font d’un point de vue mobile.

Il est également intéressant de voir que Google a bien conscience de certaines limitations quand on fait appel à des évaluateurs humains. Ceux-ci ne saisissent pas toujours l’intention de recherche, d’autant plus que celle-ci peut varier pour une même requête. Ils ont également du mal à comprendre les sujets trop techniques, réservés aux spécialistes. Par ailleurs, ils ne peuvent juger précisément de la popularité d’une page, et n’ont pas toujours une bonne vision du contexte temporel de celle-ci.

Apprendre grâce aux utilisateurs

Google s’appuie sur d’autres évaluateurs humains pour juger de la pertinence de ces résultats. Ceux-ci sont beaucoup plus nombreux. Mais de qui s’agit-il ? De vous et moi, tout simplement.

La meilleure manière d’évaluer la pertinence d’une page web dans les SERP, c’est le clic. Ou plutôt, les clics. Des milliards de clics qui, mis bout-à-bout, constituent une source de données incroyablement riche. Au point qu’une métaphore est faite dans les slides de Google : si les 16 000 évaluateurs officiels dressent une image basse résolution sur la façon dont les gens interagissent avec les résultats de recherche, l’ensemble des clics des utilisateurs donne une vision extrêmement précise.

Une notion est mise en avant : l’Unified Click Prediction. Dans une présentation portant sur ce sujet, il est dit que le recours aux clics des utilisateurs n’a cessé d’augmenter au fil du temps. Toutefois, une importante nuance est apportée. L’objectif ultime n’est PAS de proposer que des résultats sur lesquels les utilisateurs souhaitent cliquer. Cela reviendrait à promouvoir le “click bait”, la pornographie ou des résultats qui semblent attrayant mais ne sont pas réellement pertinents.

Ainsi, afficher des résultats sur lesquels les utilisateurs souhaitent cliquer est proche de l’objectif de Google, mais n’est en aucun cas un absolu. Grâce à des milliards de comportements utilisateurs, le moteur de recherche devient capable de prédire sur quels résultats pertinents les internautes cliqueront. Google peut donc booster ces résultats et mettre de côté les pages présentant des problèmes de qualité ou de pertinence.

En clair, la méthode est simple sur le papier : il faut s’entraîner sur le passé pour prédire l’avenir. Grâce à une évaluation continue permet d’être également pertinent sur les nouvelles requêtes et les pages fraîchement ajoutées dans l’index. Et comme Google s’appuie sur un très vaste corpus, cela fonctionne aussi sur les localisations très restreintes et la personnalisation des résultats !

Quelles conclusions tirer de tout cela ?

Toutes ces informations sont bien intéressantes, mais sont-elles réellement applicables d’un point de vue SEO ? Oui et non. Disons qu’elles ne changent pas fondamentalement les choses dans notre pratique quotidienne du référencement. Elles permettent de confirmer certaines intuitions, quand d’autres annonces sont assez surprenantes.

Nous pensons que l’intérêt premier de ce témoignage est qu’il permet d’augmenter notre scope d’analyse. Il est très intéressant de voir comment l’algorithme de Google fonctionne de l’intérieur. C’est un complément inestimable aux nombreux tests qui sont réalisés par la communauté SEO.

Au final, une certitude émerge de toutes ces révélations : optimiser un site pour l’algorithme et concevoir cet algorithme sont deux métiers profondément différents.