منشئ ملف robots.txt: أسئلة وشروح
كل شرح هنا يجيب عن سؤال واحد بمثال عملي، ثم يوصلك إلى الأداة لتجربه بنفسك. عدد الشروح: 11.
الأسئلة
- ملف robots.txt: ما يمنعه وما لا يمنعهكيف تكتب ملف robots.txt يطلب من محركات البحث عدم زحف صفحات السلة والحساب، ولماذا لا يخفي هذا الملف أي شيء ولا يحذف صفحة من النتائج.
- متجري على سلة أو زد ولا أستطيع تعديل ملف robots.txt، كيف أتأكد أن صفحات منتجاتي غير محجوبة فيه؟في المتاجر الجاهزة تقرأ الملف ولا تكتبه. انسخ قواعده إلى الأداة، واختبر مسارات منتجاتك الحقيقية، واعرف أي قاعدة تقرر، دون أن تزور الأداة متجرك.
- كيف أطلب من زواحف الذكاء الاصطناعي مثل GPTBot ألا تجمع محتوى موقعي، دون أن أحجب محركات البحث؟مجموعة مستقلة لكل زاحف بالاسم مع Disallow: /، وتبقى مجموعة * كما هي لمحركات البحث. كيف تختبر النتيجة، ولماذا لا يلتزم إلا الزاحف الذي يختار الالتزام.
- أداة مشرفي المواقع تقول إن صفحة منتج محجوبة بملف robots.txt، كيف أعرف أي قاعدة تحجبها؟أعد كتابة قواعدك في الأداة، والصق الرابط الكامل من التقرير في الاختبار، فيأخذ المسار والمعاملات ويسمّي القاعدة الفائزة. ولماذا تحجب قاعدة مثل /*? روابط الخيارات.
- كتبت Disallow: /shop لحجب مجلد واحد، فلماذا حُجبت أيضًا صفحة /shop-by-brand؟قاعدة robots.txt تطابق كل مسار يبدأ بها، فالقاعدة بلا شرطة أخيرة تلتقط مسارات لم تقصدها. كيف تحصر الحجب في المجلد، وكيف تحجب الصفحة نفسها بعلامة $.
- صفحات التصنيف عندي تتكرر بروابط ?sort= و?filter=، هل أحجبها في robots.txt وكيف أكتب القاعدة بحيث لا يفوتها شيء؟القاعدة /*?sort= لا تطابق إلا إن جاء sort بعد علامة ? مباشرة، فيفلت منها رابط مثل ?page=2&sort=price. كيف تكتب قاعدة تلتقط الحالتين، ومتى يستحق الحجب أصلًا.
- لماذا تحذّرني الأداة عندما أحجب مجلد /assets/ مع أنه لا يحتوي صفحات للزوار؟الزواحف تعرض الصفحة كما يراها المتصفح، فإن حُجبت ملفات التنسيق والبرمجة قد ترى صفحة مكسورة. كيف تكتشف الأداة ذلك، وكيف تستثني CSS وJS بقاعدة Allow.
- عندي نسخة تجريبية من موقعي على نطاق فرعي، هل يكفي أن أحجبها كلها في robots.txt؟ وما الخطر عند نقلها للموقع الأساسي؟Disallow: / يطلب من الزواحف المهذبة الابتعاد لكنه لا يخفي الموقع، وقد تظهر روابطه في النتائج. احمِ النسخة بكلمة مرور، وانتبه لخطأ نقل الملف إلى الموقع الأساسي.
- أضفت مجموعة خاصة بالزاحف Googlebot فصار يتجاهل قواعد المجموعة العامة *، لماذا؟الزاحف يتبع المجموعة التي تحمل اسمه وحدها ويترك مجموعة * كليًا، فالمجموعات لا تتراكم. كيف يكشف الاختبار ذلك، وكيف تنسخ القواعد المشتركة إلى المجموعة الجديدة.
- مدونتي على نطاق فرعي مثل blog.mystore.com، فلماذا لا تطبّق عليها قواعد ملف robots.txt الموجود في النطاق الرئيسي؟الزواحف تبحث عن robots.txt في جذر كل مضيف على حدة، فالنطاق الفرعي يقرأ ملفه هو. كيف تبني ملفًا منفصلًا للمدونة، ولماذا لا يميّز الاختبار بين النطاقات.
- كيف أكتب قاعدة في robots.txt لحجب مجلد اسمه عربي مثل /منتجات-قديمة/؟الزواحف تطلب المسارات العربية بصيغتها المرمّزة، والأداة تقارن النص كما هو دون فك الترميز. اكتب القاعدة بالصيغة المرمّزة، واختبرها بالرابط الكامل لا بالمسار العربي.