Robots.txt जेनरेटर — मुफ़्त ऑनलाइन
अपनी वेबसाइट के लिए अनुकूलित robots.txt फ़ाइल बनाएं।
Who uses the Robots.txt जेनरेटर?
- यह कंट्रोल करने वाले वेबसाइट मालिक कि उनकी साइट के किन हिस्सों तक क्रॉलर पहुंच सकते हैं।
- लॉन्च से ही सही robots.txt के साथ नई साइटों को कॉन्फ़िगर करने वाले SEO पेशेवर।
- सभी सर्च इंजन इंडेक्सिंग को ब्लॉक करने के लिए स्टेजिंग एनवायरनमेंट सेट करने वाले डेवलपर।
How the Robots.txt जेनरेटर works
कॉन्फ़िगर करने के लिए क्रॉलर चुनें (Googlebot, Bingbot, GPTBot, ClaudeBot, या All bots)।
Disallow पाथ दर्ज करें, हर लाइन में एक — ये हर चुने गए क्रॉलर पर लागू होते हैं।
जनरेट की गई फ़ाइल में शामिल करने के लिए अपना साइटमैप URL दर्ज करें।
जनरेट किए गए robots.txt को कॉपी करें और अपनी साइट के रूट डायरेक्टरी में अपलोड करें।
Tips & tricks
- आपके द्वारा चुने गए हर क्रॉलर पर एक जैसे Disallow पाथ लागू होते हैं — अगर आपको हर बॉट के लिए अलग नियम चाहिए, तो हर बॉट के लिए फ़ाइल अलग से जनरेट करें और User-agent ब्लॉक को मैन्युअली मिलाएं।
- इस टूल में कोई Allow डायरेक्टिव नहीं है — अगर आपको एक चाहिए, तो आउटपुट कॉपी करने के बाद इसे मैन्युअली जोड़ें।
- ज़्यादातर साइटों के लिए "All bots (*)" चुनना ही काफ़ी होता है — बॉट-वार नियम मुख्य रूप से तब मायने रखते हैं जब आप किसी एक क्रॉलर (जैसे AI बॉट) को ब्लॉक करते हुए बाकी को अनुमति देना चाहते हैं।
- प्रोडक्शन में भरोसा करने से पहले Google Search Console के robots.txt टेस्टर में अपना जनरेट किया गया robots.txt टेस्ट करें।
Frequently Asked Questions
robots.txt क्या करता है?
robots.txt आपकी साइट की रूट डायरेक्टरी में एक फ़ाइल है जो वेब क्रॉलर को बताती है कि उन्हें किन पेजों पर जाना चाहिए और किन पर नहीं। यह Robots Exclusion Standard का पालन करता है — इसका सम्मान करने वाले क्रॉलर आपके नियम मानेंगे।
क्या यह टूल Allow नियमों को सपोर्ट करता है, या सिर्फ़ Disallow को?
सिर्फ़ Disallow। ज़्यादातर क्रॉलर किसी पाथ को डिफ़ॉल्ट रूप से अनुमति प्राप्त मानते हैं जब तक कि वह प्रतिबंधित न हो, इसलिए स्पष्ट Allow नियम की शायद ही कभी ज़रूरत पड़ती है — लेकिन अगर आपको एक चाहिए (जैसे किसी प्रतिबंधित डायरेक्टरी के अंदर सबपाथ की अनुमति देने के लिए), तो इसे जनरेट किए गए आउटपुट में मैन्युअली जोड़ें।
क्या robots.txt पेजों को सर्च रिज़ल्ट्स में आने से रोकता है?
नहीं। robots.txt में किसी URL को प्रतिबंधित करने से उसका क्रॉलिंग रुकता है, लेकिन अगर अन्य साइटें उससे लिंक करती हैं तो वह URL अब भी सर्च रिज़ल्ट्स में दिख सकता है। इंडेक्सिंग रोकने के लिए, पेज पर ही meta robots "noindex" इस्तेमाल करें।
मुझे robots.txt में हमेशा क्या प्रतिबंधित करना चाहिए?
आम बहिष्करण: /admin/, /wp-admin/, /login/, /private/, /cart/, /checkout/, /account/, /thank-you/, डुप्लिकेट कंटेंट पाथ। CSS और JS फ़ाइलों को कभी प्रतिबंधित न करें — Googlebot को आपके पेज रेंडर करने के लिए इनकी ज़रूरत होती है।
क्या robots.txt एक सुरक्षा टूल है?
नहीं। कोई भी गैर-अनुपालक क्रॉलर (दुर्भावनापूर्ण स्क्रेपर, कंटेंट चोर) आपके robots.txt को नज़रअंदाज़ कर देगा। संवेदनशील URL की सुरक्षा के लिए कभी robots.txt पर भरोसा न करें — इसके बजाय सर्वर-साइड ऑथेंटिकेशन और एक्सेस कंट्रोल इस्तेमाल करें।
Is my data safe when using the Robots.txt जेनरेटर?
Completely safe. The Robots.txt जेनरेटर processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
Can I use the Robots.txt जेनरेटर output in commercial projects?
Yes. The Robots.txt जेनरेटर is a utility tool and its output carries no licensing restrictions. You are free to use results in any project, commercial or personal.
Does the Robots.txt जेनरेटर follow official standards?
Yes. The Robots.txt जेनरेटर is built to comply with the relevant industry standard or specification for this utility type. If you encounter an unexpected result, verify your input against the specification — edge cases outside the standard may produce undefined behaviour.