Penguji Robots.txt Online Gratis
Uji apakah robots.txt Anda mengizinkan atau memblokir jalur tertentu untuk perayap.
Paste your robots.txt content below, then optionally test a path against a user-agent.
Who uses the Penguji Robots.txt?
- Spesialis SEO yang menempel draf robots.txt untuk memverifikasi perubahan tidak secara tidak sengaja memblokir halaman penting sebelum menerapkannya.
- Developer yang mengonfirmasi robots.txt yang dihasilkan CMS mereka mengizinkan mesin pencari merayapi konten.
- Pemilik situs yang memecahkan masalah mengapa halaman tertentu tidak muncul di hasil pencarian Google dengan memeriksa kecocokan aturan Disallow.
How the Penguji Robots.txt works
Tempel konten robots.txt Anda ke area teks — tidak ada pengambilan URL langsung, jadi salin dulu konten file mentah.
Masukkan jalur URL untuk diuji (misalnya /admin/login) di kolom jalur.
Ketik user-agent untuk disimulasikan (misalnya Googlebot, Bingbot, atau * untuk semua crawler) di kolom agen teks bebas — biarkan kosong untuk default ke *.
Klik Test Path untuk melihat apakah jalur tersebut diizinkan atau dilarang, menggunakan aturan prioritas kecocokan terpanjang Google.
Tips & tricks
- Tidak ada pengambilan URL langsung dan tidak ada mode massal — tempel konten robots.txt secara manual dan uji satu jalur pada satu waktu.
- Kolom user-agent adalah teks bebas, bukan dropdown — ketik nama agen persis yang ingin Anda simulasikan (misalnya Googlebot), atau biarkan kosong untuk wildcard *.
- Alat ini menerapkan prioritas kecocokan terpanjang Google, bukan prioritas kecocokan pertama Bing — hasil mungkin berbeda dari perilaku Bing yang sebenarnya untuk aturan Allow/Disallow yang tumpang tindih.
- Baris Sitemap: dalam robots.txt Anda diurai dan ditampilkan di panel ringkasan bersama jumlah aturan total dan user-agent yang terdeteksi.
Frequently Asked Questions
Bisakah saya memasukkan URL robots.txt situs saya alih-alih kontennya?
Tidak — alat ini hanya menguraikan teks yang Anda tempel langsung. Kunjungi URL robots.txt Anda, salin isinya, dan tempel ke area teks.
Bagaimana cara kerja penguji robots.txt?
Penguji menguraikan konten robots.txt yang Anda tempel, mengidentifikasi aturan yang berlaku untuk user-agent yang Anda masukkan, dan mengevaluasi jalur terhadap aturan tersebut — menggunakan aturan kecocokan terpanjang menang — mengembalikan Allowed atau Disallowed.
Apa urutan prioritas untuk aturan Allow vs Disallow?
Google menggunakan aturan paling spesifik (jalur yang cocok terpanjang), yang merupakan implementasi alat ini. Contoh: Disallow: /private/ dan Allow: /private/public/ — aturan Allow menang untuk /private/public/page karena lebih spesifik. Bing sebaliknya menggunakan aturan yang cocok pertama, yang tidak direplikasi oleh alat ini.
Bisakah saya menguji beberapa jalur URL sekaligus?
Tidak — tidak ada mode uji massal. Uji satu jalur pada satu waktu dengan mengubah kolom jalur dan mengklik Test Path lagi.
Apakah aturan Disallow mencegah URL muncul di hasil pencarian?
Belum tentu. Melarang URL mencegah Googlebot merayapinya, tetapi jika situs lain menautkannya, Google mungkin masih mengindeksnya dengan informasi terbatas. Untuk sepenuhnya mencegah pengindeksan, gunakan tag meta robots noindex pada halaman itu sendiri.
Is my data safe when using the Penguji Robots.txt?
Completely safe. The Penguji Robots.txt processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
How current is the data returned by the Penguji Robots.txt?
The Penguji Robots.txt fetches live data in real time each time you run it. Results reflect the current state of the server or domain at the moment of the request.
Why does the Penguji Robots.txt sometimes return different results than other tools?
Results depend on the real-time state of the target server and DNS propagation, which can vary by geographic region and caching TTL. If you see inconsistencies, wait a few minutes and re-test — DNS changes can take up to 48 hours to propagate fully worldwide.