Het snelst groeiende WordPress platform!
Alles over WordPress op 1 plek

Wat is Robots.txt?

Weleens nagedacht hoe het kan dat jouw website in Google verschijnt? Dit komt omdat Google zeer geavanceerde software heeft, genaamd crawlers. Die indexeren jouw website en zorgen ervoor dat de pagina’s in Google terecht komen. Echter kan het zijn dat je niet alles in Google wilt hebben. Hiervoor gebruik je Robots.txt.

In de Robots.txt geef je Google eigenlijk instructies wat hij wel of niet mag indexeren. Sommige pagina’s wil je privé houden of alleen voor een selecte groep. Sommige pagina’s zijn ook compleet oninteressant voor Google, zoals bijvoorbeeld de winkelwagen pagina. Niemand gaat vanuit Google direct naar jouw (WooCommerce) winkelwagen en deze pagina hoeft dus ook niet in Google te staan.

Robots.txt controleren

Wil je controleren of jouw WordPress site een Robots.txt bestand heeft? Ga dan naar https://jouwdomein.nl/robots.txt. Uiteraard verander je het gedeelte ‘jouwdomein.nl’ in de juiste data.

Robots.txt aanpassen

De Robots.txt kun je gemakkelijk aanpassen in WordPress. Hiervoor gebruiken we de Yoast SEO plugin en gaan we naar ‘Yoast > Extra > Bestandsbewerker’.

Robots.txt aanpassen

Hier vind je (zeer waarschijnlijk) iets wat lijk op het volgende:

robots.txt in WordPress

Het is goed dat deze dingen al staan verwerkt. Het feit dat je – onder andere – de link /wp-admin/ en alles daarachter niet laat indexeren in Google, is goed. Je wilt namelijk niet dat in Google zichtbaar wordt hoe jij moet inloggen!

Wil je meer weten over Robots.txt? Lees dan absoluut het blogartikel van Yoast hierover. Hier vind je waardevolle informatie over hoe je het beste het Robots.txt bestand kunt inrichten.  

Auteur

Dit is een stukje tekst over mijzelf.

Leave A Reply

Hier vind je alles over Wordpress