La question qu'on me pose le plus souvent en audit technique, ce n'est pas « comment je me positionne sur tel mot-clé » — c'est « pourquoi ma page n'apparaît nulle part alors qu'elle est en ligne depuis deux semaines ». Et neuf fois sur dix, le problème n'est pas le référencement. La page n'est même pas dans l'index. On cherche à optimiser le classement d'une URL que Google n'a jamais lue.
Confondre crawling et indexation, c'est traiter un symptôme au lieu de la cause. Ce sont deux phases distinctes, avec leurs propres règles, leurs propres outils de diagnostic, et surtout leurs propres pannes. Cet article les sépare proprement — et vous donne de quoi savoir laquelle des deux est cassée chez vous.
Points clés à retenir
- Le crawl est la découverte d'une URL par un robot ; l'indexation est son stockage ultérieur après analyse. L'une peut réussir sans l'autre.
- Une page bloquée par
robots.txtne verra jamais sonnoindexlu : le robot ne peut pas désindexer une page qu'il n'a pas le droit de lire. - Le rendu JavaScript s'intercale entre les deux et casse énormément de sites que je vois passer.
- Une URL crawlée peut être rejetée à l'indexation pour duplication, canonicalisation, statut HTTP ou contenu trop mince.
- Search Console expose deux rapports distincts : « Exploration des pages » et « Pages indexées ». L'écart entre les deux est votre principal indicateur.
- Les logs serveur restent la seule source de vérité sur le crawl réel. Search Console vous ment un peu, par simplification.
Crawl et indexation : pourquoi la confusion vous coûte cher
Google a une architecture en plusieurs couches. Il y a le robot qui découvre des URL (Googlebot, via liens, sitemaps, redirections, ou requêtes directes). Il y a le moteur de rendu qui exécute le JavaScript pour voir la page telle qu'un navigateur la verrait. Et il y a l'index, cette immense base de données qui stocke les pages jugées dignes d'être proposées à un utilisateur.
Ces trois étapes sont séquentielles. Une URL doit franchir chacune d'elles avant d'avoir la moindre chance d'être positionnée.
Ce que fait réellement le crawler
Le crawl, c'est une lecture. Googlebot demande l'URL, reçoit le HTML, et décide ensuite s'il doit solliciter le rendu pour exécuter le JS. Rien de plus. Un crawl réussi signifie une seule chose : Google a vu la page. Pas qu'il l'a comprise. Pas qu'il l'a gardée. Pas qu'il la proposera.
Cette phase est contrainte par un budget : Googlebot ne passe pas un temps infini sur votre domaine. Sur un site de 500 pages dont je suivais les logs, le robot revenait en moyenne toutes les 36 heures sur les pages populaires, mais laissait certains articles de blog dormir trois semaines entre deux visites. Rien d'anormal — le budget se concentre là où la valeur perçue est la plus forte.
Ce que fait réellement l'indexation
L'indexation, c'est une décision. Une fois le contenu lu et rendu, Google l'analyse : est-ce unique ? Utile ? Accessible ? Canonique ? Si oui, l'URL entre dans l'index avec tout son contenu stocké — c'est ce qui permet ensuite d'afficher un extrait, un titre, une date. Si non, elle est rejetée silencieusement. Vous n'aurez aucun message d'erreur, aucune alerte. Juste une absence.
Et c'est là que la plupart des diagnostics partent en vrille.
Les différences concrètes qui comptent vraiment
Bon, assez de théorie. Voici les divergences opérationnelles que je vérifie systématiquement en audit — celles qui font la différence entre « ma page est introuvable » et « ma page se positionne mal ».
| Critère | Crawl | Indexation |
|---|---|---|
| Question posée | Google a-t-il lu la page ? | Google l'a-t-il gardée ? |
| Directive bloquante | Disallow dans robots.txt | noindex (meta ou header) |
| Où le diagnostic se fait | Logs serveur, rapport d'exploration | Rapport « Pages », site: |
| Délai typique (que je constate) | De quelques heures à 3 semaines | De quelques jours à 3 mois |
| Effet d'un blocage | La page n'est jamais vue | La page est vue mais absente |
| Cause fréquente d'échec | Budget gaspillé, liens cassés | Duplication, contenu mince, canonical |
Le piège n°1 : confondre Disallow et noindex
C'est l'erreur la plus coûteuse que je vois. Un client veut retirer une vieille page de résultats. Il met un noindex et, par précaution excessive, ajoute un Disallow dans le robots.txt. Résultat : le robot ne peut plus lire la page. Il ne verra donc jamais le noindex. La page reste indexée pendant des mois.
Spoiler : pour désindexer une URL, il faut laisser Google crawler pour qu'il lise le noindex. Bloquer le crawl et demander la désindexation en même temps, c'est se tirer une balle dans le pied avec un pistolet qui ne tire pas.
Le rendu, la phase qu'on oublie
Personne n'en parle dans les guides d'introduction, et c'est une erreur. Entre le crawl et l'indexation, il y a une étape de rendu JavaScript qui n'existe pas dans les modèles mentaux simplistes. Si votre contenu principal est injecté côté client, Googlebot peut crawler la page vide, rendre plus tard, et parfois décider que ce qu'il voit au moment du rendu est trop léger pour justifier une indexation.
Sur un projet e-commerce que j'ai repris, 40 % des fiches produits n'étaient pas indexées. Le contenu était là. Le sitemap était propre. Le problème : les descriptions produit étaient chargées en JavaScript après trois requêtes API en cascade, et le rendu échouait une fois sur deux par simple timeout côté bot. On a basculé les descriptions en rendu serveur. En six semaines, le taux d'indexation est passé de 60 % à 94 %. Aucune autre modification. Le crawl n'était pas le problème — le rendu, si.
Diagnostiquer quelle phase est cassée chez vous
Avant de toucher à quoi que ce soit, faites ce test tout simple dans Search Console. Comparez le nombre d'URL « explorées, non indexées » au nombre d'URL « indexées ». Si l'écart dépasse 30 %, vous avez un problème d'indexation, pas de crawl. Si vos logs serveur ne montrent aucune visite de Googlebot sur une section entière, vous avez un problème de crawl.
Les deux diagnostics n'ont rien à voir. Les remèdes non plus.
Quand c'est le crawl qui coince
- Vérifiez que la page n'est pas bloquée par
robots.txt— un simpleDisallowmal placé suffit. - Cherchez les chaînes de redirections : au-delà de deux sauts, Googlebot abandonne souvent.
- Regardez si vos pages orphelines (aucun lien entrant interne) sont visitées. Souvent, non.
- Un sitemap obsolète fait plus de dégâts qu'un sitemap absent.
Quand c'est l'indexation qui coince
Le rapport « Pages » de Search Console vous donne la raison exacte dans 80 % des cas que je traite. Les motifs récurrents :
- Doublon sans canonical choisi. Google choisit lui-même, et pas toujours celui que vous préférez.
- Contenu mince. Une page de catégorie avec un titre et trois liens, ça ne passe plus.
noindexoublié. Le grand classique du site migré depuis un environnement de préprod.- Statut HTTP en erreur. Une 404 ou une 500 persistante, même une seule fois, retarde l'indexation de plusieurs semaines.
- Qualité perçue comme faible par rapport au reste du site. Google est sélectif. Il n'indexe plus tout ce qu'il voit.
Franchement, dans mon expérience, le point 5 est le plus mal compris. Beaucoup de propriétaires de sites pensent qu'indexation = droit automatique dès qu'une URL existe. C'est faux depuis longtemps. L'index est une ressource. Google la filtre.
Demander une indexation Google, ça marche vraiment ?
La fonction « Demander une indexation » dans Search Console déclenche une visite prioritaire. Elle est utile — mais elle a des limites que personne ne mentionne assez.
Google Console indexation : ce que l'outil fait (et ne fait pas)
Ce que ça fait : mettre l'URL en tête de file pour une prochaine exploration. Ce que ça ne fait pas : garantir l'indexation. J'ai vu des demandes traitée en 20 minutes, et j'en ai vu d'autres qui n'ont jamais abouti parce que la page était rejetée à l'indexation pour cause de duplication. Le bouton ne contourne pas les critères. Il accélère juste la file d'attente.
Mon conseil : utilisez-le, mais pas en boucle. Une demande par URL, après avoir corrigé ce qui bloque. Cliquer tous les jours sur la même page ne la rend pas plus légitime — ça encombre juste votre propre file.
Ce qu'il faut retenir de la différence
Un site bien crawlé n'est pas un site indexé. Un site indexé n'est pas un site positionné. On m'a demandé un jour pourquoi « les pages n'apparaissaient pas alors qu'elles étaient dans l'index » — la personne regardait le mauvais rapport et cherchait une explication de classement pour un problème d'indexation.
La prochaine fois qu'une URL ne sort pas dans Google, posez-vous deux questions dans l'ordre. Premier point : les logs montrent-ils une visite de Googlebot récente ? Si non, cherchez le blocage de crawl — robots.txt, redirections, orphelines. Deuxième point : si le crawl passe mais que l'index non, regardez la qualité perçue, la canonicalisation, le noindex résiduel et le rendu.
La bonne nouvelle, c'est que ces deux pannes ont des signatures distinctes et se diagnostiquent en quelques minutes une fois qu'on sait quoi regarder. La mauvaise, c'est qu'aucun outil ne vous criera dessus quand une page n'est pas indexée. Le silence, dans ce métier, c'est presque toujours un mauvais signe.
