منشئ ملف robots.txt
اختر إعدادًا جاهزًا أو اكتب مجموعات قواعدك، فيبني المتصفح ملف robots.txt جاهزًا للتنزيل، مع تحذيرات صريحة واختبار يخبرك إن كان مسار معيّن مسموحًا لزاحف معيّن. لا تزور الأداة موقعك ولا تقرأ ملفك الحالي. فهي مولّد ملف robots.txt (robots.txt Generator) يشرح كل قاعدة قبل أن تنشرها.
جارٍ تحميل الأداة…
المعالجة والخصوصية: تُحسب النتيجة داخل متصفحك ولا تُرسل بياناتك إلى أي خادم.
شاهد طريقة الاستخدام
خطوات الاستخدام
- أدخل المسارات الممنوعة
- أضف رابط خريطة الموقع
- النتيجة: ملف robots.txt جاهز للتنزيل
طريقة الاستخدام
- اختر إعدادًا جاهزًا يناسب هدفك، أو ابدأ من المجموعة الموجودة واكتب قواعدك بنفسك.
- حرّر المجموعات: اسم زاحف واحد في كل مجموعة، ومسار واحد في كل سطر تحت Disallow وAllow. يبدأ كل مسار بالرمز / وحالة الأحرف مهمة.
- أضف أسطر Sitemap بروابط كاملة إن وُجدت، وCrawl-delay عند الحاجة مع العلم أن Google تتجاهله.
- اقرأ التحذيرات، وجرّب مسارًا في «اختبار مسار» للتأكد من النتيجة قبل النشر.
- انسخ الملف أو نزّله، وارفعه إلى جذر النطاق ليصبح على https://example.com/robots.txt.
مثال
بعد اختيار «حجب مجلدات محددة» ثم إضافة مجموعة لزاحف اسمه BadBot يصبح الملف: User-agent: * ثم Disallow: /admin/ وDisallow: /cart/ وDisallow: /checkout/ وDisallow: /search، ثم سطر فارغ، ثم User-agent: BadBot وDisallow: /.
وفي الاختبار: المسار /admin/help/index.html مع الزاحف Googlebot يكون ممنوعًا بقاعدة /admin/، فإن أضفت Allow: /admin/help/ صار مسموحًا لأن القاعدة المطابقة الأطول هي التي تفوز. والنمط /*.pdf$ يطابق /files/a.pdf ولا يطابق /files/a.pdf?x=1 لأن $ يثبّت نهاية المسار.
الحدود والملاحظات
- ملف robots.txt طلب لا إلزام. الزواحف المحترمة تلتزم به، أما الزواحف المسيئة فتتجاهله ببساطة. لا يمنع الملف أحدًا من فتح أي صفحة.
- الملف ليس وسيلة حماية، وهو منشور للجميع على /robots.txt. كتابة Disallow: /secret-admin/ فيه تدل الناس على المسار بدل إخفائه. الحماية الحقيقية تسجيل دخول أو قواعد منع على الخادم.
- حجب مسار لا يضمن حذفه من نتائج البحث، وقد يمنع حذفه: الزاحف الممنوع من جلب الصفحة لن يرى وسم noindex فيها أبدًا. لإخراج صفحة من النتائج اتركها مسموحة وضع فيها noindex، أو اطلب حذفها من أدوات مشرفي المواقع.
- يتبع الاختبار قواعد RFC 9309: تُختار المجموعة بمطابقة اسم الزاحف حرفيًا دون اعتبار لحالة الأحرف، وتفوز أطول قاعدة مطابقة، ويفوز Allow عند تساوي الطول، ويُدعم * و$. الزواحف الحقيقية تختلف في التفاصيل، ودعم الأنماط ليس مضمونًا في الزواحف البسيطة.
- تُقارن المسارات نصًا كما تُكتب: لا تفك الأداة ترميز %XX قبل المقارنة، فالمساران /café/ و/caf%C3%A9/ مختلفان عندها. كذلك حالة الأحرف مهمة: /Admin/ لا يحجب /admin/.
- لا تكتب الأداة تعليقات #، وترفض أي # داخل مسار أو اسم زاحف لأن كل ما بعده يُعدّ تعليقًا فيكسر السطر. ولا تكتب امتدادات Host وClean-param الخاصة بمحرك Yandex.
- الحدود المختبَرة: حتى 20 مجموعة، و20 اسم زاحف في المجموعة، و200 سطر قاعدة في المجموعة، و20 سطر Sitemap، وCrawl-delay بين 0 و3600 ثانية. وتقرأ Google أول 500 كيلوبايت فقط من الملف.
- لا تزور الأداة موقعك ولا تقرأ ملف robots.txt الحالي ولا تتحقق من وجود المسارات التي تكتبها.
أسئلة شائعة عن هذه الأداة
هل يحذف حجب الصفحة في robots.txt ظهورها من نتائج البحث؟
لا. الحجب يمنع الزحف لا الفهرسة. إذا أشارت روابط من مواقع أخرى إلى المسار فقد يبقى ظاهرًا في النتائج بلا وصف. والأسوأ أن الحجب يمنع الزاحف من رؤية وسم noindex داخل الصفحة، فيبقى المسار في النتائج. الحل الصحيح: اترك المسار مسموحًا وضع فيه noindex، أو احمِه بتسجيل دخول، أو اطلب حذفه من أدوات مشرفي المواقع.
هل أستطيع إخفاء صفحات خاصة بوضعها في robots.txt؟
لا. الملف نفسه عام ويستطيع أي شخص قراءته على https://example.com/robots.txt، فكل مسار تكتبه فيه تعلنه للجميع. استخدم تسجيل دخول أو قاعدة منع على الخادم للمحتوى الخاص، واحتفظ بملف robots.txt لتوفير جهد الزحف على صفحات لا قيمة لها في البحث.
أين يوضع الملف، وهل يحتاج النطاق الفرعي إلى ملف خاص به؟
يوضع في جذر النطاق فقط: https://example.com/robots.txt. الملف الموضوع في مجلد فرعي يُتجاهل. والقواعد تسري لكل مضيف وبروتوكول على حدة، فالنطاق https://shop.example.com يحتاج ملفه الخاص، وكذلك http:// مقابل https:// ومنفذ مختلف.
كيف أنشئ ملف robots.txt لموقعي؟
اختر إعدادًا جاهزًا أو اكتب قواعدك، ثم نزّل الملف وارفعه إلى جذر النطاق ليصبح على https://example.com/robots.txt. أبسط ملف يسمح لكل الزواحف بكل الصفحات هو User-agent: * يليه سطر Disallow: فارغ، وهو ما يكتبه الإعداد «السماح بكل شيء»، ويمكنك إضافة سطر Sitemap: برابط خريطة موقعك. وجرّب أي مسار في «اختبار مسار» قبل النشر.
ما معنى User-agent: * مع Disallow: / في robots.txt؟
معنى هذين السطرين أن كل الزواحف مطلوب منها ألا تزحف إلى أي صفحة في الموقع: User-agent: * تشمل كل الزواحف، وDisallow: / تحجب كل مسار لأن كل مسار يبدأ بالشرطة المائلة. يناسب ذلك موقعًا تجريبيًا لم يُنشر بعد، لكنه خطأ شائع على الموقع الحقيقي. أما Disallow: بلا مسار فمعناه السماح بكل شيء.