robots.txt
robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Webseite, etwa unter beispielbetrieb.de/robots.txt. Darin steht, welche Bereiche Suchmaschinen und andere Programme, sogenannte Crawler, abrufen dürfen und welche nicht. Die Crawler von Google und den großen KI Anbietern halten sich nach eigenen Angaben daran; ein Schutz für vertrauliche Daten ist die Datei aber nicht.
Was heißt das für Ihren Betrieb?
Ein falscher Eintrag in der robots.txt kann eine Webseite weitgehend aus Google verschwinden lassen, etwa wenn nach einem Relaunch die Sperre aus der Testphase stehen bleibt. Die Datei entscheidet auch, ob KI Assistenten wie ChatGPT Ihre Seite lesen dürfen. Wer von ihnen genannt werden will, sperrt sie nicht aus.
Mehr dazu im Ratgeber: llms.txt: Braucht die Webseite Ihres Betriebs eine?
Prüfen Sie kostenlos, ob ChatGPT Ihren Betrieb empfiehlt.
Stand: 20.11.2026. Quellen: RFC 9309: Robots Exclusion Protocol (IETF), September 2022; Google Search Central: Einführung in robots.txt, Stand 20.11.2026
Eine Webseite, die Ihnen Anfragen bringt
149 Euro im Monat netto. Texte, Technik und Pflege übernehmen wir.