Robots.txt maken
Categorie(ën): Zoekmachine optimalisatie, Op de site zelf
Normaal gesproken indexeren de zoekmachines alle pagina’s van jouw website die ze kunnen vinden. Voor een aantal of een groot deel van je pagina’s kun je zorgen dat dit niet gebeurt door gebruik te maken van een robots-pagina. Met robots.txt kun je Google en andere zoekmachines laten weten welke pagina’s je liever niet wilt laten indexeren. Deze optie om bepaalde delen van je website af te schermen is niet alleen handig, maar dit geeft ook een betere structuur aan je website en zoekmachines waarderen dit.
Hoe moet het?
Het is ontzettend makkelijk om een robots.txt aan te maken. Je kunt dit gewoon doen met een HTML-editor, bijvoorbeeld Kladblok. Je kunt bepalen welke zoekmachines (User-agent) naar je robots.txt moeten luisteren en welke pagina’s voor deze bots onzichtbaar zijn (Disallow). Als je bijvoorbeeld Google het gastenboek van je website niet wilt laten indexeren ziet je robots.txt-bestand er als volgt uit:
User-agent: Googlebot
Disallow: /gastenboek.html
Het is ook mogelijk om alle zoekmachines te weigeren om ze ook maar één pagina te laten indexeren. Dit ziet er als volgt uit:
User-agent: *
Disallow: /
Als je de zoekmachines gewoon alles wilt laten indexeren laat je de optie Disallow gewoon leeg:
User-agent:
Disallow:
Meer…
Er zijn nog veel meer opties om bepaalde delen van jouw bestanden niet te tonen aan de robots van de zoekmachines. Een groot deel hiervan en een uitleg erbij vind je in Google’s centrum voor webmasters. Als je na deze handleiding nog steeds niet weet hoe het moet kun je jouw robots.txt ook gemakkelijk online maken.