مدونتي على نطاق فرعي مثل blog.mystore.com، فلماذا لا تطبّق عليها قواعد ملف robots.txt الموجود في النطاق الرئيسي؟
لأن الزواحف تبحث عن robots.txt في جذر كل مضيف منفصلًا. حين تزحف إلى blog.mystore.com تقرأ blog.mystore.com/robots.txt، ولا تنظر إلى ملف mystore.com أبدًا. ابنِ للمدونة ملفًا خاصًا بقواعدها وسطر Sitemap الخاص بها، وارفعه إلى جذر المدونة.
كل مضيف له ملفه
القاعدة التي تذكرها الأداة في ملاحظة «لكل مضيف وبروتوكول ملفه»: القواعد تسري على المضيف والبروتوكول والمنفذ الذي جاء منه الملف فقط. عمليًا، هذه كلها عناوين منفصلة لكل منها ملفها:
- mystore.com/robots.txt: للمتجر الرئيسي.
- blog.mystore.com/robots.txt: للمدونة.
- http:// مقابل https:// للمضيف نفسه: يُعدّان مصدرين مختلفين أيضًا.
وملف موضوع في مجلد فرعي مثل mystore.com/blog/robots.txt يُتجاهل تمامًا، فالملف يعمل من جذر المضيف فقط. هذا فرق مهم: مدونة في مجلد /blog/ على النطاق الرئيسي يحكمها ملف المتجر، أما مدونة على نطاق فرعي فلها ملفها.
لماذا لا يميّز الاختبار بين النطاقين؟
جرّبنا في «اختبار مسار» في منشئ ملف robots.txt الرابط الكامل https://blog.example.com/posts/1?x=1. أخذت الأداة منه المسار /posts/1?x=1، وكتبت ملاحظة: اختُبر المسار وحده لأن قواعد robots.txt لا تنظر إلى اسم النطاق. هذا صحيح داخل الملف الواحد، فالقواعد مسارات فقط. لكنه يعني أيضًا أن اختيار الملف الصحيح مسؤوليتك: إن اختبرت رابط المدونة على قواعد المتجر، فالنتيجة تخص ملفًا لن يقرأه الزاحف أصلًا.
الخطوات
- اقرأ ملف المدونة الحالي إن وُجد: افتح blog.mystore.com/robots.txt. إن ظهرت صفحة خطأ، فلا يوجد ملف، وكل شيء مسموح للزواحف.
- ابنِ في الأداة ملفًا للمدونة وحدها: مثلًا مجموعة * تمنع /wp-admin/ أو صفحات البحث الداخلي في المدونة، بحسب ما فيها.
- أضف سطر Sitemap بعنوان خريطة المدونة الكامل على النطاق الفرعي، لا خريطة المتجر.
- اختبر مسارات مقالات حقيقية للتأكد أنها مسموحة.
- نزّل الملف وارفعه إلى جذر المدونة، ثم افتح blog.mystore.com/robots.txt للتأكد.
- أعد تحميل ملف المتجر في الأداة منفصلًا حين تريد تعديله، حتى لا تخلط القواعد.
مثال لملف مدونة بسيط يسمح بكل شيء ويدل على خريطتها:
User-agent: *
Disallow:
Sitemap: https://blog.example.com/sitemap.xml
سطر Disallow الفارغ معناه أن كل شيء مسموح، والأداة تكتبه هكذا حين لا تضع أي قاعدة في المجموعة، مع تنبيه يوضح ذلك. وخريطة المدونة تنشئها من روابط مقالاتها في منشئ خريطة الموقع XML إن لم تكن منصة المدونة تنشئها. إن كانت المدونة جزءًا من متجر على منصة جاهزة، فافحص ما تنشره المنصة أولًا، فقد لا تتحكم في الملف.
أسئلة شائعة
هل يضر عدم وجود ملف للمدونة؟
غياب الملف يعني عمليًا أن كل شيء مسموح. لا تحتاجه إلا إن كان هناك ما تحجبه أو خريطة تريد الإشارة إليها.
هل أضع رابط خريطة المدونة في ملف المتجر؟
يمكن لسطر Sitemap أن يشير إلى رابط كامل، لكن الأوضح أن يكون في ملف المدونة نفسها. راجع وثائق محرك البحث.
هل الأداة تفحص ملف المدونة الحالي؟
لا، هي لا تزور أي نطاق. انقل قواعده إليها لتختبره.