Robots.txt-generator
Bouwt een robots.txt-bestand dat zoekmachines en AI-crawlers vertelt welke delen van uw site zij mogen lezen.
Deze tool draait volledig in uw browser. Wat u invult wordt nergens verzonden, doorgestuurd of bewaard.
Veelgestelde vragen
Waar zet ik dit bestand neer?
Sla het op als robots.txt in de bovenste map van uw website. Het is dan bereikbaar op uwsite.nl/robots.txt.
Verbergt blokkeren een pagina?
Nee. robots.txt is een verzoek en geen slot. Nette crawlers houden zich eraan, maar het weerhoudt niemand ervan de pagina rechtstreeks te openen. Gebruik het nooit om iets vertrouwelijks af te schermen.
Welke AI-crawlers worden geblokkeerd?
GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, Google-Extended, anthropic-ai, ClaudeBot, ClaudeBot-User, PerplexityBot, Bytespider, Diffbot, Applebot-Extended, Meta-ExternalAgent en Amazonbot.