Robots Exclusion Protocol
Z Wikipedii, wolnej encyclopedia
Robots Exclusion Protocol (REP) – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW[1].
Ten artykuł od 2021-03 wymaga zweryfikowania podanych informacji. |
Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami, indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów[2].
Protokół REP nigdy nie stał się oficjalnym standardem i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad[2].
Wstępną wersję standardu opracował w 1994 roku Martijn Koster (również webmaster), gdy roboty indeksujące przeciążały jego witrynę[2]. Od momentu utworzenia protokół REP nie była aktualizowany pod kątem dzisiejszych sytuacji granicznych[2].