La Wayback Machine disponible sous archive.org permet également de récupérer d’anciens fichiers robots.txt. Cela peut s’avérer utile lors de la recherche ultérieure d’erreurs.
Archive.org, également connu sous le nom de Wayback Machine, permet de récupérer des snapshots historiques de pages web. De cette manière, il est possible de voir à quoi ressemblait une page web à une date donnée. Cela permet de suivre les changements au fil du temps.
💡 Ce qui est moins connu, c’est que la Wayback Machine enregistre également des snapshots de fichiers robots.txt. Ce qui peut être super utile lors de la recherche d’erreurs. Ça permet aussi de comprendre les effets éventuels des modifications du robots.txt sur la visibilité et les rankings SEO.
L’exemple suivant montre une sélection des snapshots que la Wayback Machine a enregistrés à partir du robots.txt de cdiscount.com :
La popularité d’un site web détermine si la Wayback Machine collecte des snapshots et, le cas échéant, combien d’entre eux.
0 commentaires