عندي نسخة تجريبية من موقعي على نطاق فرعي، هل يكفي أن أحجبها كلها في robots.txt؟ وما الخطر عند نقلها للموقع الأساسي؟
لا يكفي. الحجب الكامل يطلب من الزواحف التي تحترم الملف أن تبتعد، لكنه لا يخفي الموقع عن أحد، وقد تظهر روابطه في النتائج إن أشارت إليها صفحات أخرى. احمِ النسخة التجريبية بكلمة مرور. والخطر الأكبر عند الإطلاق: أن يُنقل ملف الحجب الكامل مع بقية الملفات إلى الموقع الحقيقي.
ما الذي يفعله الحجب الكامل وما لا يفعله
في منشئ ملف robots.txt الإعداد الجاهز «منع كل شيء» يكتب هذا الملف:
User-agent: *
Disallow: /
ويظهر معه تنبيه صريح: القاعدة / تمنع الموقع كله عن كل الزواحف. الأداة تعرض هذا التنبيه كلما كانت مجموعة * تحجب الموقع كله، سواء جاء من الإعداد الجاهز أو كتبته بيدك. ووصف الإعداد نفسه يقول إنه مناسب فقط لنسخة تجريبية، وإن تسجيل الدخول هو الحماية الحقيقية حتى في هذه الحالة.
- يفعل: يطلب من زواحف محركات البحث المحترمة ألا تجلب الصفحات.
- لا يفعل: لا يمنع أي شخص من فتح الموقع، ولا الزواحف التي تتجاهل الملف.
- لا يفعل: لا يضمن غياب الروابط عن النتائج. الرابط الذي تشير إليه صفحات أخرى قد يظهر بلا وصف، لأن الزاحف لا يستطيع قراءة الصفحة ليرى أي شيء فيها.
- يكشف: الملف عام، فمن يفتح /robots.txt على النطاق الفرعي يعرف أن هناك نسخة لا تريدها ظاهرة.
الحماية الحقيقية للنسخة التجريبية
- ضع كلمة مرور على النطاق الفرعي كله من لوحة الاستضافة، أو قصر الوصول على عناوين IP لفريقك.
- أبقِ ملف الحجب الكامل على النسخة التجريبية كطبقة إضافية، لا كحماية وحيدة.
- لا تنشر روابط النسخة التجريبية في رسائل عامة أو في صفحات الموقع الحقيقي.
- لا تنشئ خريطة موقع للنسخة التجريبية، ولا تضع روابطها في خريطة الموقع الحقيقي.
الخطر يوم الإطلاق
الخطأ الكلاسيكي أن ينسخ المطوّر مجلد النسخة التجريبية كاملًا إلى الموقع الحقيقي، ومعه robots.txt الذي يحجب كل شيء. على موقع حقيقي، هذا يؤدي بحسب تحذير الأداة إلى اختفائه من نتائج البحث تدريجيًا، وبقاء الصفحات المفهرسة سلفًا بلا وصف. وقد لا يلاحظ أحد لأسابيع، لأن الموقع يعمل طبيعيًا للزوار.
قائمة فحص قصيرة ليوم الإطلاق:
- افتح عنوان الموقع الحقيقي وبعده /robots.txt فور الإطلاق، واقرأه بعينك.
- ابنِ ملف الموقع الحقيقي في الأداة من جديد، مثلًا بالإعداد «السماح بكل شيء» أو «حجب مجلدات محددة»، وأضف سطر Sitemap بخريطة الموقع التي أنشأتها في منشئ خريطة الموقع XML.
- اختبر في «اختبار مسار» صفحة رئيسية وصفحة منتج مع Googlebot، وتأكد أنهما مسموحتان.
- إن كان النشر آليًا، فاجعل ملف robots.txt مختلفًا لكل بيئة بدل نسخه.
أسئلة شائعة
هل النطاق الفرعي يحتاج ملفه الخاص؟
نعم. القواعد تسري على المضيف الذي جاء منه الملف فقط، فملف النطاق الفرعي لا يؤثر على الموقع الأساسي، والعكس.
النسخة التجريبية ظهرت في النتائج، هل يحذفها الحجب؟
لا. الحجب يمنع الزاحف من رؤية أي وسم noindex. احمِها بكلمة مرور واطلب الحذف من أدوات مشرفي المواقع.
هل الأداة تعرف إن كان ملفي على الموقع الحقيقي يحجب كل شيء؟
لا، هي لا تقرأ ملفك الحالي. انقل قواعده إلى مجموعاتها لتختبرها.