Robots.txt-Tester — Kostenlos Online
Testen Sie, ob Ihre robots.txt bestimmte Pfade für Crawler erlaubt oder blockiert.
Paste your robots.txt content below, then optionally test a path against a user-agent.
Who uses the Robots.txt-Tester?
- SEO-Spezialisten, die einen robots.txt-Entwurf einfügen, um zu überprüfen, dass Änderungen wichtige Seiten nicht versehentlich blockieren, bevor sie bereitgestellt werden.
- Entwickler, die bestätigen, dass ihre CMS-generierte robots.txt Suchmaschinen erlaubt, Inhalte zu crawlen.
- Website-Besitzer, die Probleme beheben, warum bestimmte Seiten nicht in Google-Suchergebnissen erscheinen, indem sie Disallow-Regel-Übereinstimmungen prüfen.
How the Robots.txt-Tester works
Fügen Sie den Inhalt Ihrer robots.txt in das Textfeld ein — es gibt kein Live-URL-Abrufen, kopieren Sie also zuerst den rohen Dateiinhalt.
Geben Sie einen zu testenden URL-Pfad ein (z. B. /admin/login) in das Pfadfeld.
Geben Sie einen zu simulierenden User-Agent ein (z. B. Googlebot, Bingbot oder * für alle Crawler) in das Freitext-Agentenfeld — leer lassen, um standardmäßig * zu verwenden.
Klicken Sie auf Test Path, um zu sehen, ob dieser Pfad erlaubt oder verboten ist, unter Verwendung von Googles Regel der längsten Übereinstimmung.
Tips & tricks
- Es gibt kein Live-URL-Abrufen und keinen Batch-Modus — fügen Sie robots.txt-Inhalt manuell ein und testen Sie jeweils einen Pfad.
- Das User-Agent-Feld ist Freitext, kein Dropdown — geben Sie genau den Agentennamen ein, den Sie simulieren möchten (z. B. Googlebot), oder lassen Sie es leer für das Platzhalterzeichen *.
- Das Tool wendet Googles Regel der längsten Übereinstimmung an, nicht Bings Regel der ersten Übereinstimmung — Ergebnisse können vom tatsächlichen Verhalten von Bing bei überlappenden Allow/Disallow-Regeln abweichen.
- Sitemap:-Zeilen in Ihrer robots.txt werden geparst und im Übersichtsbereich zusammen mit der Gesamtregelanzahl und den erkannten User-Agents angezeigt.
Frequently Asked Questions
Kann ich die URL meiner robots.txt statt ihres Inhalts einfügen?
Nein — dieses Tool parst nur Text, den Sie direkt einfügen. Besuchen Sie die URL Ihrer robots.txt, kopieren Sie ihren Inhalt und fügen Sie ihn in das Textfeld ein.
Wie funktioniert der robots.txt-Tester?
Der Tester parst Ihren eingefügten robots.txt-Inhalt, identifiziert die auf den eingegebenen User-Agent zutreffenden Regeln und wertet den Pfad anhand dieser Regeln aus — unter Verwendung der Regel "längste Übereinstimmung gewinnt" — und gibt Allowed oder Disallowed zurück.
Wie ist die Rangfolge für Allow- vs. Disallow-Regeln?
Google verwendet die spezifischste Regel (längster übereinstimmender Pfad), was dieses Tool implementiert. Beispiel: Disallow: /private/ und Allow: /private/public/ — die Allow-Regel gewinnt für /private/public/page, da sie spezifischer ist. Bing verwendet stattdessen die erste übereinstimmende Regel, was dieses Tool nicht nachbildet.
Kann ich mehrere URL-Pfade auf einmal testen?
Nein — es gibt keinen Batch-Testmodus. Testen Sie einen Pfad nach dem anderen, indem Sie das Pfadfeld ändern und erneut auf Test Path klicken.
Verhindert eine Disallow-Regel, dass eine URL in Suchergebnissen erscheint?
Nicht unbedingt. Das Verbieten einer URL verhindert, dass Googlebot sie crawlt, aber wenn andere Seiten darauf verlinken, kann Google sie trotzdem mit begrenzten Informationen indexieren. Um die Indexierung vollständig zu verhindern, verwenden Sie ein Meta-Robots-noindex-Tag auf der Seite selbst.
Is my data safe when using the Robots.txt-Tester?
Completely safe. The Robots.txt-Tester processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
How current is the data returned by the Robots.txt-Tester?
The Robots.txt-Tester fetches live data in real time each time you run it. Results reflect the current state of the server or domain at the moment of the request.
Why does the Robots.txt-Tester sometimes return different results than other tools?
Results depend on the real-time state of the target server and DNS propagation, which can vary by geographic region and caching TTL. If you see inconsistencies, wait a few minutes and re-test — DNS changes can take up to 48 hours to propagate fully worldwide.