Wat robots.txt precies doet
Robots.txt is een tekstbestand in de hoofdmap van je website. Het bestand vertelt zoekmachines welke pagina's ze wel en niet mogen bekijken. Denk aan een interne zoekfunctie, een proefversie van een pagina, of een deel van je site dat nog niet af is. Wil je zien hoe dat er in de praktijk uitziet? Typ achter je eigen domeinnaam /robots.txt in de adresbalk, bijvoorbeeld dibbi.nl/robots.txt, en je ziet meteen welke instructies er nu al klaarstaan.
Het is geen slot op de deur. Volgens Monkey Vision is het bestand openbaar leesbaar, dus iedereen kan zien welke delen je afschermt, en stuurt robots.txt crawlers zonder garantie dat een pagina daardoor ook echt uit Google verdwijnt. Wil je een pagina echt onzichtbaar houden in Google, dan heb je een andere oplossing nodig dan robots.txt, zoals een noindex-instelling.
Wanneer je robots.txt met rust laat
Voor de meeste kleine sites staat robots.txt automatisch goed ingesteld. Je websitebouwer of platform regelt de basis, en die basis werkt voor negen van de tien ondernemers gewoon prima. Zo simpel is het meestal. Het eenvoudig houden van het bestand is meestal het beste, schrijft PROSEO. Ga je zelf sleutelen zonder duidelijke reden, dan loop je meer risico dan dat je wint.
Twijfel je of Google je nieuwe pagina's wel snel genoeg oppikt? Dat heeft vaak minder met robots.txt te maken dan je denkt. Lees dan ook hoe crawlbudget werkt voor een kleine website, want dat bepaalt meestal meer over je vindbaarheid dan dit ene bestand.
Wanneer een check wel zin heeft
Een foutieve regel kan wel je hele site blokkeren voor Google. Dat gebeurt vaker dan je denkt: bij een verhuizing naar een nieuw platform, na een grote herbouw van de site, of wanneer een developer een test-instelling per ongeluk laat staan. Een enkele regel met Disallow: / en zoekmachines mogen nergens meer komen. Dat is alles wat er nodig is.
Herken je een van deze situaties? Check dan je robots.txt via de adresbalk, of kijk in Google Search Console of je pagina's nog worden gecrawld. Dat kost je twee minuten. Die twee minuten voorkomen weken van onzichtbaarheid in Google.
dibbi denkt dit soort techniek al voor je mee. Elk nieuw kennisbankartikel zet dibbi automatisch goed geïndexeerd online, zonder dat jij aan robots.txt of andere instellingen hoeft te denken. Benieuwd hoe dat werkt? Bekijk hoe dibbi dat aanpakt of blader door de kennisbank voor meer praktische tips.
Samengevat
- Robots.txt is een tekstbestand in de hoofdmap van je website dat zoekmachines vertelt welke pagina's ze wel en niet mogen crawlen.
- Het bestand is openbaar leesbaar en is dus geen beveiligingsmaatregel, maar een sturingsmiddel voor crawlers.
- Voor de meeste kleine websites staat robots.txt standaard goed ingesteld en hoef je er niets aan te veranderen.
- Een foutieve regel, zoals Disallow: /, kan een hele website blokkeren voor Google.
- Controleer robots.txt na een verhuizing, herbouw of grote wijziging van je website.
- dibbi zorgt dat nieuwe kennisbankartikelen automatisch goed geïndexeerd online komen te staan.
