Standardul pentru Excluderea Roboților (Standard for Robots Exclusion
- SRE) a fost creat de către Martijn Kostner, în anul 1994, și descrie un
protocol de limitarea accesului roboților în anumite zone a Web-ului. Prin
intermediul acestui standard, administratorul are posibilitatea să controleze
accesul diferiților roboți la anumite zone de pe serverul Web. Controlul
este puțin exagerat în acest caz, pentru că respectarea acestui protocol
de către roboți nu este obligatorie. Dezvoltatorii de roboți respectă acest
standard în mod voluntar, iar standardul nu conține nici un mecanism real
pentru a bloca accesul la resursele interzise.
Administratorul pur și simplu specifică zonele de pe server pe care nu
dorește ca programele de căutare să le indexeze. Asemenea zone ar putea
fi:
anumite locații infinite în care roboții ar putea rămîne blocați la infinit,
așa numitele găuri negre;
locațiile care necesită multe resurse din partea serverului, ca de execmplu
paginile generate dinamic;
documente care ar atrage un trafic nejustificat de mare, de exemplu materiale
erotice;
documente care ar reprezenta o anumită instituție sau persoană nefavorabil,
de exemplu informații confidențiale, reclamații, arhive de bug-uri pentru
un anumit program;
documente care nu sunt utile pentru publicul larg, deci nu merită indexate,
informații de interes local, fișiere temporare;
Principalele obiective la proiectarea acestui protocol erau: simplu de
administrat și simplu de implementat. Acest lucru a exclus, din start, protocoale
speciale de nivel rețea, soluții specifice unei platforme sau schimbări
la programele client ori server. Astfel, este folosită o resursă special
formatată într-un loc cunoscut în spațiul serverelor Web. Ca urmare, acest
standard afirmă pur și simplu că un robot, înainte să transfere fișiere
de pe un server trebuie să caute în directorul rădăcină al serverului un
fișier text cu numele robots.txt. Dacă este găsit acest fișier, trebuie
interpretat și robotul trebuie să acționeze conform indicațiilor și restricțiilor
specificate în fișierul respectiv. Fișierul are un format special, cu care
se pot specifica zonele interzise pentru diferiți roboți. Această abordare
de fișier text, cu un format special, satisface cerințele de proiectare:
administrația este simplă, pentru că formatul fișierului este ușor de înțeles
și nu necesită un software special pentru creare. Implementarea este și
ea simplă, pentru că formatul fișierului permite o interpetare ușoară și
aplicarea protocolului nu necesită schimbări nici la client, nici la server.