مختبر Robots.txt — مجاني على الإنترنت
اختبر ما إذا كان robots.txt يسمح أو يحجب روبوتات الزحف على مسارات محددة.
Paste your robots.txt content below, then optionally test a path against a user-agent.
Who uses the مختبر Robots.txt?
- متخصصو SEO الذين يلصقون مسودة robots.txt للتحقق من أن التغييرات لا تحظر عن طريق الخطأ صفحات مهمة قبل نشرها.
- المطورون الذين يتأكدون من أن ملف robots.txt الذي يُنشئه نظام إدارة المحتوى يسمح لمحركات البحث بزحف المحتوى.
- أصحاب المواقع الذين يستكشفون أسباب عدم ظهور صفحات معينة في نتائج بحث Google بالتحقق من تطابقات قواعد Disallow.
How the مختبر Robots.txt works
الصق محتوى robots.txt الخاص بك في منطقة النص — لا يوجد جلب مباشر لعنوان URL، لذا انسخ أولًا المحتوى الخام للملف.
أدخل مسار عنوان URL لاختباره (مثل /admin/login) في حقل المسار.
اكتب وكيل مستخدم (user-agent) لمحاكاته (مثل Googlebot أوBingbot أو * لجميع الزواحف) في حقل الوكيل النصي الحر — اتركه فارغًا لاستخدام * الافتراضي.
انقر على Test Path لمعرفة ما إذا كان هذا المسار مسموحًا أو ممنوعًا، باستخدام قاعدة أولوية أطول تطابق من Google.
Tips & tricks
- لا يوجد جلب مباشر لعنوان URL ولا وضع دفعي — الصق محتوى robots.txt يدويًا واختبر مسارًا واحدًا في كل مرة.
- حقل وكيل المستخدم نصي حر، وليس قائمة منسدلة — اكتب بالضبط اسم الوكيل الذي تريد محاكاته (مثل Googlebot)، أو اتركه فارغًا للرمز البديل *.
- تطبّق الأداة أولوية أطول تطابق من Google، وليس أولوية أول تطابق من Bing — قد تختلف النتائج عن سلوك Bing الفعلي بالنسبة لقواعد Allow/Disallow المتداخلة.
- تُحلَّل أسطر Sitemap: في ملف robots.txt الخاص بك وتُعرض في لوحة الملخص إلى جانب إجمالي عدد القواعد ووكلاء المستخدم المكتشفين.
Frequently Asked Questions
هل يمكنني إدخال عنوان URL لملف robots.txt الخاص بموقعي بدلًا من محتواه؟
لا — تُحلّل هذه الأداة فقط النص الذي تلصقه مباشرةً. زر عنوان URL لملف robots.txt الخاص بك، انسخ محتواه، والصقه في منطقة النص.
كيف يعمل فاحص robots.txt؟
يُحلّل الفاحص محتوى robots.txt الذي لصقته، ويحدد القواعد المُطبَّقة على وكيل المستخدم الذي أدخلته، ويُقيّم المسار مقابل تلك القواعد — باستخدام قاعدة «أطول تطابق يفوز» — ويُعيد Allowed أو Disallowed.
ما ترتيب الأولوية لقواعد Allow مقابل Disallow؟
تستخدم Google القاعدة الأكثر تحديدًا (أطول مسار مطابق)، وهذا ما تنفذه هذه الأداة. مثال: Disallow: /private/ وAllow: /private/public/ — تفوز قاعدة Allow بالنسبة لـ /private/public/page لأنها أكثر تحديدًا. تستخدم Bing بدلًا من ذلك أول قاعدة مطابقة، وهو ما لا تُحاكيه هذه الأداة.
هل يمكنني اختبار عدة مسارات URL دفعة واحدة؟
لا — لا يوجد وضع اختبار دفعي. اختبر مسارًا واحدًا في كل مرة بتغيير حقل المسار والنقر على Test Path مرة أخرى.
هل تمنع قاعدة Disallow ظهور عنوان URL في نتائج البحث؟
ليس بالضرورة. حظر عنوان URL يمنع Googlebot من زحفه، لكن إذا ارتبطت به مواقع أخرى، قد تُفهرسه Google مع ذلك بمعلومات محدودة. لمنع الفهرسة تمامًا، استخدم وسم meta robots noindex في الصفحة نفسها.
Is my data safe when using the مختبر Robots.txt?
Completely safe. The مختبر Robots.txt processes everything locally in your browser. No input data, results, or usage information is ever transmitted to or stored on any server.
How current is the data returned by the مختبر Robots.txt?
The مختبر Robots.txt fetches live data in real time each time you run it. Results reflect the current state of the server or domain at the moment of the request.
Why does the مختبر Robots.txt sometimes return different results than other tools?
Results depend on the real-time state of the target server and DNS propagation, which can vary by geographic region and caching TTL. If you see inconsistencies, wait a few minutes and re-test — DNS changes can take up to 48 hours to propagate fully worldwide.