De robot van zoekmachines speuren uw website af naar content op pagina's, maar doordat sommige pagina's er alleen maar voor zorgen dat de zoekmachine een lagere ranking oplegt, is het handiger deze pagina's uit te sluiten van indexering. Er dient een bestand te worden aangemaakt in de root van de website. Dit is een "gewoon" text-bestand dat werkt op basis van het Robots Exclusion Protocol. Dit protocol stelt webmasters in staat bepaalde pagina's uit te sluiten van indexering in specifieke zoekmachines. De syntax die gebruikt dient te worden in robots.txt:
User Agent: [naam specifieke spider]
Disallow: [paginanaam]

Indien u alle robots wilt bereiken, kunt u bij user agent volstaan met een asterisk (*). Hieronder een voorbeeld:
User Agent: *
Disallow: /Default.aspx?ctl=login



<< Terug naar het overzicht