أضفت مجموعة خاصة بالزاحف Googlebot فصار يتجاهل قواعد المجموعة العامة *، لماذا؟

المثال الذي يكشف المشكلة

بنينا في منشئ ملف robots.txt هذا الملف: مجموعة لكل الزواحف تمنع /admin/ و/cart/، ثم مجموعة لزاحف Googlebot تمنع /search فقط، بقصد إضافة قاعدة له:

User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: Googlebot Disallow: /search

ثم اختبرنا المسار /admin/login مع زاحفين:

• Googlebot: مسموح بالزحف. لا قاعدة مطابقة، والمجموعة المستخدمة هي Googlebot. مجموعته لا تذكر /admin/، ولم يرث شيئًا من *.
• Bingbot: ممنوع بالقاعدة /admin/. لا توجد مجموعة باسمه، فاستُخدمت مجموعة * وحدها.

والمسار /search?q=oud مع Googlebot كان ممنوعًا بقاعدته الخاصة، أي أن المجموعة تعمل، لكنها تعمل وحدها. الأداة تقول ذلك صراحة حين تستخدم مجموعة *: استُخدمت مجموعة * وحدها دون دمجها مع غيرها.

الإصلاح: كرّر القواعد المشتركة

انسخ كل قاعدة تريدها لجميع الزواحف إلى مجموعة Googlebot أيضًا:

User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: Googlebot Disallow: /admin/ Disallow: /cart/ Disallow: /search

1. في مجموعة Googlebot، الصق كل أسطر Disallow وAllow التي في مجموعة *.
2. أضف تحتها القاعدة الخاصة به.
3. في «اختبار مسار» جرّب /admin/login مع Googlebot مرة أخرى، وتأكد أنه صار ممنوعًا.
4. جرّب أيضًا مسارًا عاديًا مثل /products/oud لتتأكد أنك لم تحجب ما لا تقصده.

تفاصيل تستحق الانتباه

• الاسم يُقارن دون اعتبار لحالة الأحرف، فمجموعة googlebot تنطبق على Googlebot.
• الأداة تأخذ من سلسلة الزاحف الطويلة اسمه الأول فقط، فالسلسلة Googlebot/2.1 مع بقية ترويستها تُعامل كزاحف Googlebot.
• الاسم المختلف ولو قليلًا يُعدّ زاحفًا آخر. حين اختبرنا Googlebot-Image مع الملف الأول، استُخدمت مجموعة * لأنه لا توجد مجموعة بهذا الاسم الكامل. الزواحف الحقيقية قد تتصرف بشكل مختلف في هذه التفاصيل، فراجع وثائق كل محرك بحث عن زواحفه.
• إن ذكرت اسم الزاحف نفسه في مجموعتين، تنبّهك الأداة، لأن الزواحف تدمج المجموعات التي تحمل الاسم نفسه، والأوضح أن تكون مجموعة واحدة.

أسطر Sitemap مختلفة: هي تسري على الملف كله لا على مجموعة، فلا تحتاج إلى تكرارها. اكتب رابط الخريطة التي أنشأتها في منشئ خريطة الموقع XML مرة واحدة في خانة Sitemap. والأداة لا تقرأ ملفك الحالي، فانقل قواعده إليها قبل الاختبار.