Websiteradius Webseite anfragen

Glossar

robots.txt

robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Webseite, etwa unter beispielbetrieb.de/robots.txt. Darin steht, welche Bereiche Suchmaschinen und andere Programme, sogenannte Crawler, abrufen dürfen und welche nicht. Die Crawler von Google und den großen KI Anbietern halten sich nach eigenen Angaben daran; ein Schutz für vertrauliche Daten ist die Datei aber nicht.

Was heißt das für Ihren Betrieb?

Ein falscher Eintrag in der robots.txt kann eine Webseite weitgehend aus Google verschwinden lassen, etwa wenn nach einem Relaunch die Sperre aus der Testphase stehen bleibt. Die Datei entscheidet auch, ob KI Assistenten wie ChatGPT Ihre Seite lesen dürfen. Wer von ihnen genannt werden will, sperrt sie nicht aus.

Beispiel: Lässt eine Reinigungsfirma ihre Seite neu bauen und steht danach weiter „Disallow: /“ in der robots.txt, darf Google keine Seite mehr abrufen. Die Anfragen über die Suche gehen dann nach und nach zurück.

Mehr dazu im Ratgeber: llms.txt: Braucht die Webseite Ihres Betriebs eine?

Das erledigen wir im Abo: Genannt von KI Assistenten. ChatGPT und Co. suchen selbst im Netz. Wir sorgen dafür, dass sie Ihren Betrieb finden und nennen.

Prüfen Sie kostenlos, ob ChatGPT Ihren Betrieb empfiehlt.

Stand: 20.11.2026. Quellen: RFC 9309: Robots Exclusion Protocol (IETF), September 2022; Google Search Central: Einführung in robots.txt, Stand 20.11.2026

Eine Webseite, die Ihnen Anfragen bringt

149 Euro im Monat netto. Texte, Technik und Pflege übernehmen wir.