Den
första raden User-agent:,
är markerad med en stjärna vilket
betyder att det gäller alla robotar.
Om det istället hade stått:
User-agent:
Scooter
så
hade det inneburit att instruktionerna
bara gällt roboten Scooter. Katalogerna /bilder /cgi
osv.. byter du ut mot de kataloger du själv inte vill
ska indexeras. Filen robots.txt
läggs sen i ROOTEN på
din site, altså i den understa katalogen.
Om du bara vill utesluta en enda sida så kan du göra
detta genom ett META kommando.
Då lägger du följande innanför <HEAD>- taggarna:
META NAME="robots" CONTENT="noindex"