ملف robots.txt: ما يمنعه وما لا يمنعه
صفحات السلة والدفع ونتائج البحث الداخلي في متجرك لا فائدة من زحف محركات البحث إليها. ملف robots.txt يطلب منها تجاهلها. لكن كثيرين يظنون أنه يخفي الصفحات أو يحميها، وهذا غير صحيح.
طلب، وليس قفلًا
الزواحف المحترمة مثل زواحف محركات البحث الكبرى تلتزم بالملف، أما الزواحف المسيئة فتتجاهله. والملف منشور للجميع على /robots.txt، فكتابة سطر يمنع مسار /secret-admin/ تعلن عن هذا المسار بدل أن تخفيه. الحماية الحقيقية تسجيل دخول أو قاعدة على الخادم.
المنع لا يحذف الصفحة من النتائج
إن منعت الزحف إلى صفحة، لن يرى محرك البحث وسم noindex عليها، فقد تبقى في النتائج. لحذف صفحة من النتائج، اتركها مسموحة وأضف إليها noindex، أو اطلب حذفها من أدوات مشرفي المواقع.
مجموعة لكل الزواحف تمنع /admin/، ثم تسمح بالمسار /admin/help/.
المسار /admin/help/index.html يصبح مسموحًا، لأن القاعدة الأطول المطابقة هي التي تنتصر.
والنمط /*.pdf$ يطابق /files/a.pdf، لكنه لا يطابق /files/a.pdf?x=1، لأن $ تعني نهاية المسار.
User-agent: * Disallow: /admin/ Allow: /admin/help/
الطريقة
- افتح منشئ ملف robots.txt واختر قالبًا جاهزًا مشروحًا، مثل منع مجلدات محددة، أو اكتب مجموعاتك.
- أضف رابط خريطة الموقع.
- جرّب أي مسار في أداة الاختبار لترى هل هو مسموح لزاحف معين، وأي قاعدة قررت ذلك.
- انسخ الملف أو نزّله وارفعه إلى جذر موقعك.
أخطاء شائعة
- المسارات حساسة لحالة الأحرف: /Admin/ لا تمنع /admin/.
- سطر Disallow: / وحده تحت User-agent: * يمنع موقعك كله من الزحف. راجعه جيدًا قبل الرفع.
- Google تقرأ أول 500 كيلوبايت فقط من الملف.
أضف رابط خريطة موقعك التي تنشئها عبر منشئ خريطة الموقع XML. وللصفحات التي تريد ظهورها، راجع عنوانها ووصفها في النتائج عبر معاينة نتيجة البحث.
أسئلة شائعة
هل يحمي robots.txt صفحة الإدارة في متجري؟
لا. الملف طلب تلتزم به الزواحف المحترمة فقط، وهو منشور للجميع. الحماية بكلمة مرور أو قاعدة على الخادم.
هل تقرأ الأداة ملفي الحالي؟
لا، هي لا تزور موقعك ولا تقرأ ملفك الحالي. تبني ملفًا جديدًا مما تدخله.
كيف أحذف صفحة من نتائج البحث؟
اتركها مسموحة للزحف وأضف إليها وسم noindex، أو اطلب حذفها من أدوات مشرفي المواقع.