مولّد Robots.txt — مجاني على الإنترنت
أنشئ ملف robots.txt محسّناً لموقعك الإلكتروني.
Who uses the مولّد Robots.txt?
- أصحاب المواقع الذين يتحكمون في الأقسام التي يمكن للزواحف الوصول إليها في مواقعهم.
- متخصصو تحسين محركات البحث الذين يهيئون مواقع جديدة بملف robots.txt صحيح منذ الإطلاق.
- المطوّرون الذين يعدّون بيئات اختبار مؤقتة لحظر الفهرسة بالكامل من محركات البحث.
How the مولّد Robots.txt works
حدد الزواحف المراد إعدادها (Googlebot، Bingbot، GPTBot، ClaudeBot، أو All bots).
أدخل مسارات Disallow، سطرًا واحدًا لكل مسار — تنطبق هذه على كل زاحف محدد.
أدخل رابط خريطة الموقع (sitemap) لتضمينه في الملف المُنشأ.
انسخ ملف robots.txt المُنشأ وارفعه إلى الدليل الجذري لموقعك.
Tips & tricks
- تنطبق مسارات Disallow نفسها على كل زاحف تحدده — إذا احتجت قواعد مختلفة لكل بوت، أنشئ الملف مرة واحدة لكل بوت وادمج كتل User-agent يدويًا.
- لا توجد توجيهة Allow في هذه الأداة — إذا احتجت واحدة، أضفها يدويًا بعد نسخ الناتج.
- عادةً ما يكفي تحديد «All bots (*)» لمعظم المواقع — تهم القواعد الخاصة بكل بوت بشكل أساسي عندما تريد حظر زاحف واحد (مثل بوت ذكاء اصطناعي) مع السماح للبقية.
- اختبر ملف robots.txt المُنشأ في أداة اختبار robots.txt في Google Search Console قبل الاعتماد عليه في بيئة الإنتاج.
Frequently Asked Questions
ما وظيفة robots.txt؟
robots.txt هو ملف في الدليل الجذري لموقعك يعطي تعليمات لزواحف الويب حول الصفحات التي يجب وألا تزورها. يتبع معيار استبعاد الروبوتات (Robots Exclusion Standard) — الزواحف التي تحترمه ستتبع قواعدك.
هل تدعم هذه الأداة قواعد Allow، أم Disallow فقط؟
Disallow فقط. تعامل معظم الزواحف المسار على أنه مسموح افتراضيًا ما لم يكن محظورًا، لذا نادرًا ما تكون هناك حاجة لقاعدة Allow صريحة — لكن إذا احتجت واحدة (مثل السماح بمسار فرعي داخل دليل محظور)، أضفها يدويًا إلى الناتج المُنشأ.
هل يمنع robots.txt ظهور الصفحات في نتائج البحث؟
لا. يمنع حظر رابط في robots.txt زحفه، لكن الرابط قد يظل يظهر في نتائج البحث إذا ربطت به مواقع أخرى. لمنع الفهرسة، استخدم وسم meta robots «noindex» على الصفحة نفسها.
ما الذي يجب أن أحظره دائمًا في robots.txt؟
الاستثناءات الشائعة: /admin/، /wp-admin/، /login/، /private/، /cart/، /checkout/، /account/، /thank-you/، ومسارات المحتوى المكرر. لا تحظر أبدًا ملفات CSS وJS — يحتاجها Googlebot لعرض صفحاتك.
هل robots.txt أداة أمان؟
لا. أي زاحف غير ملتزم (أدوات كشط ضارة، سارقو المحتوى) سيتجاهل robots.txt الخاص بك. لا تعتمد أبدًا على robots.txt لحماية روابط حساسة — استخدم بدلًا من ذلك المصادقة من جانب الخادم وضوابط الوصول.
Is my data safe when using the مولّد Robots.txt?
Completely safe. The مولّد Robots.txt processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
Can I use the مولّد Robots.txt output in commercial projects?
Yes. The مولّد Robots.txt is a utility tool and its output carries no licensing restrictions. You are free to use results in any project, commercial or personal.
Does the مولّد Robots.txt follow official standards?
Yes. The مولّد Robots.txt is built to comply with the relevant industry standard or specification for this utility type. If you encounter an unexpected result, verify your input against the specification — edge cases outside the standard may produce undefined behaviour.