لماذا تحذّرني الأداة عندما أحجب مجلد /assets/ مع أنه لا يحتوي صفحات للزوار؟

ما الذي فحصته الأداة؟

الأداة لا تعرف ما في مجلداتك، فهي لا تزور موقعك. بدل ذلك تحمل قائمة صغيرة من مسارات شائعة لملفات التنسيق والبرمجة، مثل /assets/css/main.css و/js/app.js و/static/main.js، وتختبر كل مجموعة قواعد عليها. إن مُنع أي منها، يظهر التنبيه مع اسم القاعدة ومثال المسار.

كتبنا مجموعة لكل الزواحف فيها Disallow: /assets/ فقط، فظهر التنبيه: القاعدة /assets/ تمنع ملفات CSS أو JavaScript، مثل /assets/css/main.css. الملف نفسه أُنشئ عاديًا، فالتنبيه لا يمنعك، لكنه يطلب منك أن تفكر.

لماذا تحتاج الزواحف هذه الملفات؟

صفحة منتج حديثة قد لا تظهر صورها أو سعرها أو وصفها إلا بعد تشغيل JavaScript، وترتيبها كله يأتي من CSS. الزاحف الذي يرى HTML وحده بلا هذه الملفات قد يرى صفحة مختلفة كثيرًا عما يراه عميلك. ولا نستطيع أن نقول بالضبط كيف يتعامل كل محرك بحث مع ذلك، فراجع وثائقه عن عرض الصفحات.

الإصلاح: استثناء بدل حذف

إن كان في /assets/ ما تريد حجبه فعلًا، مثل ملفات خاصة بالموظفين، فأبقِ القاعدة وأضف استثناءات للتنسيق والبرمجة:

User-agent: * Disallow: /assets/ Allow: /assets/css/ Allow: /assets/js/

بهذا الملف اختفى التنبيه. واختبرنا مسارين: /assets/css/main.css صار مسموحًا والقاعدة الفائزة Allow: /assets/css/، لأنها أطول من /assets/. أما /assets/private/price-list.pdf فبقي ممنوعًا بالقاعدة Disallow: /assets/.

1. في منشئ ملف robots.txt اكتب قاعدتك، واقرأ التنبيهات تحت الملف.
2. إن ظهر تنبيه ملفات CSS أو JavaScript، فافتح مصدر إحدى صفحاتك وابحث عن مسارات ملفات .css و.js لتعرف مجلداتها الحقيقية.
3. أضف Allow لكل مجلد منها داخل المجموعة نفسها.
4. اختبر مسار ملف حقيقي من موقعك في «اختبار مسار».

حدود الفحص

القائمة التي تفحصها الأداة عيّنة من المسارات الشائعة، لا مسارات موقعك. إن كانت ملفاتك في مجلد باسم مختلف مثل /theme/build/، فلن يظهر تنبيه حتى لو حجبتها. لذلك الخطوة الرابعة مهمة: اختبر مساراتك أنت. وتذكّر أن ملف robots.txt ليس وسيلة لإخفاء ملف خاص، فهو عام، والملف الخاص يحتاج حماية على الخادم. وبعد التأكد من أن الصفحة تُعرض كاملة، راجع عنوانها ووصفها في معاينة نتيجة البحث.