Protocole d'exclusion des robots
format standard permettant de conseiller aux robots d'indexation et d'extraction d'ignorer certaines pages d'un site web / De Wikipedia, l'encyclopédie encyclopedia
Cher Wikiwand IA, Faisons court en répondant simplement à ces questions clés :
Pouvez-vous énumérer les principaux faits et statistiques sur Fichier d'exclusion des robots?
Résumez cet article pour un enfant de 10 ans
AFFICHER TOUTES LES QUESTIONS
Le protocole d'exclusion des robots souvent nommé robots.txt, est une ressource de format texte qui peut être placée à la racine d'un site web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d'indexation des moteurs de recherche. Par convention, les robots consultent le fichier texte nommé robots.txt
avant d'indexer un site Web. Ce protocole a été proposé par Martijn Koster en 1994 et il a été rapidement adopté comme un standard de facto du web.