Robots.txt टेस्टर — मुफ़्त ऑनलाइन
परीक्षण करें कि आपका robots.txt क्रॉलर के लिए विशिष्ट पथ की अनुमति देता है या ब्लॉक करता है।
Paste your robots.txt content below, then optionally test a path against a user-agent.
Who uses the Robots.txt टेस्टर?
- डिप्लॉय करने से पहले यह सत्यापित करने के लिए robots.txt ड्राफ्ट पेस्ट करने वाले SEO विशेषज्ञ कि बदलाव गलती से महत्वपूर्ण पेजों को ब्लॉक नहीं करते।
- यह पुष्टि करने वाले डेवलपर कि उनकी CMS-जनरेटेड robots.txt सर्च इंजनों को कंटेंट क्रॉल करने की अनुमति देती है।
- Disallow नियम मैच की जांच करके यह ट्रबलशूट करने वाले साइट मालिक कि विशिष्ट पेज Google सर्च परिणामों में क्यों नहीं दिखाई दे रहे हैं।
How the Robots.txt टेस्टर works
अपने robots.txt की सामग्री को टेक्स्ट एरिया में पेस्ट करें — यहां कोई लाइव URL फ़ेच नहीं है, इसलिए पहले कच्ची फ़ाइल सामग्री कॉपी करें।
पथ फ़ील्ड में टेस्ट करने के लिए एक URL पथ दर्ज करें (जैसे /admin/login)।
फ्री-टेक्स्ट एजेंट फ़ील्ड में सिम्युलेट करने के लिए एक यूज़र-एजेंट टाइप करें (जैसे Googlebot, Bingbot, या सभी क्रॉलर के लिए *) — डिफ़ॉल्ट रूप से * का उपयोग करने के लिए इसे खाली छोड़ दें।
Google के सबसे लंबे मैच प्राथमिकता नियम का उपयोग करके यह देखने के लिए Test Path पर क्लिक करें कि वह पथ अनुमति प्राप्त है या अस्वीकृत।
Tips & tricks
- यहां कोई लाइव URL फ़ेच और कोई बैच मोड नहीं है — robots.txt सामग्री को मैन्युअल रूप से पेस्ट करें और एक बार में एक पथ का परीक्षण करें।
- यूज़र-एजेंट फ़ील्ड फ्री टेक्स्ट है, कोई ड्रॉपडाउन नहीं — आप जिस एजेंट को सिम्युलेट करना चाहते हैं उसका सटीक नाम टाइप करें (जैसे Googlebot), या वाइल्डकार्ड * के लिए इसे खाली छोड़ दें।
- यह टूल Google की सबसे लंबे मैच प्राथमिकता को लागू करता है, Bing की पहले मैच प्राथमिकता को नहीं — ओवरलैपिंग Allow/Disallow नियमों के लिए परिणाम Bing के वास्तविक व्यवहार से भिन्न हो सकते हैं।
- आपकी robots.txt में Sitemap: लाइनों को पार्स किया जाता है और कुल नियम गिनती और पहचाने गए यूज़र-एजेंट के साथ सारांश पैनल में दिखाया जाता है।
Frequently Asked Questions
क्या मैं इसकी सामग्री के बजाय अपनी robots.txt का URL दर्ज कर सकता हूं?
नहीं — यह टूल केवल आपके द्वारा सीधे पेस्ट किए गए टेक्स्ट को पार्स करता है। अपनी robots.txt के URL पर जाएं, उसकी सामग्री कॉपी करें, और इसे टेक्स्ट एरिया में पेस्ट करें।
robots.txt टेस्टर कैसे काम करता है?
टेस्टर आपके द्वारा पेस्ट की गई robots.txt सामग्री को पार्स करता है, आपके द्वारा टाइप किए गए यूज़र-एजेंट पर लागू होने वाले नियमों की पहचान करता है, और उन नियमों के विरुद्ध पथ का मूल्यांकन करता है — सबसे लंबा मैच जीतता है नियम का उपयोग करके — Allowed या Disallowed लौटाता है।
Allow बनाम Disallow नियमों के लिए प्राथमिकता का क्रम क्या है?
Google सबसे विशिष्ट नियम (सबसे लंबा मिलान पथ) का उपयोग करता है, जो यह टूल लागू करता है। उदाहरण: Disallow: /private/ और Allow: /private/public/ — /private/public/page के लिए Allow नियम जीतता है क्योंकि यह अधिक विशिष्ट है। Bing इसके बजाय पहले मिलान वाले नियम का उपयोग करता है, जिसे यह टूल दोहराता नहीं है।
क्या मैं एक साथ कई URL पथों का परीक्षण कर सकता हूं?
नहीं — कोई बैच टेस्ट मोड नहीं है। पथ फ़ील्ड बदलकर और फिर से Test Path पर क्लिक करके एक बार में एक पथ का परीक्षण करें।
क्या Disallow नियम किसी URL को सर्च परिणामों में दिखने से रोकता है?
जरूरी नहीं। किसी URL को अस्वीकृत करने से Googlebot उसे क्रॉल करने से रुक जाता है, लेकिन यदि अन्य साइटें उससे लिंक करती हैं, तो Google फिर भी उसे सीमित जानकारी के साथ इंडेक्स कर सकता है। इंडेक्सिंग को पूरी तरह रोकने के लिए, पेज पर ही meta robots noindex टैग का उपयोग करें।
Is my data safe when using the Robots.txt टेस्टर?
Completely safe. The Robots.txt टेस्टर processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
How current is the data returned by the Robots.txt टेस्टर?
The Robots.txt टेस्टर fetches live data in real time each time you run it. Results reflect the current state of the server or domain at the moment of the request.
Why does the Robots.txt टेस्टर sometimes return different results than other tools?
Results depend on the real-time state of the target server and DNS propagation, which can vary by geographic region and caching TTL. If you see inconsistencies, wait a few minutes and re-test — DNS changes can take up to 48 hours to propagate fully worldwide.