أداة مشرفي المواقع تقول إن صفحة منتج محجوبة بملف robots.txt، كيف أعرف أي قاعدة تحجبها؟

لماذا لا تكفي قراءة الملف بالعين؟

حين يكون في الملف عشرون قاعدة، بعضها بنجمة وبعضها بعلامة $، يصعب أن تعرف بالنظر أيها ينطبق على رابط بعينه. والقاعدة التي تفوز ليست الأولى في الترتيب، بل الأطول بين القواعد المطابقة، ويفوز Allow عند تساوي الطول. الاختبار يطبّق هذا الحساب نفسه ويخبرك بالنتيجة.

الخطوات

1. افتح عنوان موقعك وبعده /robots.txt، وانقل كل مجموعة إلى منشئ ملف robots.txt: الأسماء في User-agent، والمسارات في Disallow وAllow.
2. انسخ الرابط الكامل للصفحة من تقرير أداة مشرفي المواقع.
3. الصقه في خانة المسار في «اختبار مسار»، واكتب اسم الزاحف الذي يخصه التقرير، مثل Googlebot.
4. اقرأ النتيجة: ممنوع أو مسموح، والقاعدة الفائزة، والمجموعة المستخدمة.

مثال: قاعدة واسعة تحجب الخيارات

في ملف كُتب فيه Disallow: /*? لمنع روابط الفرز، لصقنا الرابط https://example.com/products/oud?variant=123. أخذت الأداة منه المسار /products/oud?variant=123، وذكرت أنها اختبرت المسار وحده لأن قواعد robots.txt لا تنظر إلى اسم النطاق. النتيجة: ممنوع من الزحف، والقاعدة الفائزة Disallow: /*?.

النمط /*? معناه «أي مسار فيه علامة استفهام». أراد صاحبه حجب الفرز، فحجب معه كل رابط خيار. أما صفحة المنتج بلا معاملات، /products/oud، فظهرت مسموحة، ولهذا قد لا يلاحظ أحد المشكلة إلا في التقرير.

طريقتان للإصلاح

• ضيّق القاعدة إلى المعاملات التي تقصدها فعلًا، مثل /*?sort=. اختبرنا الرابط نفسه مع هذه القاعدة فصار مسموحًا، لأنها لا تطابقه.
• أو أبقِ القاعدة الواسعة وأضف استثناء Allow: /*?variant=. هذا أطول من /*? فيفوز عليه، وقد ظهر الرابط مسموحًا والقاعدة الفائزة Allow: /*?variant=.

User-agent: * Disallow: /*? Allow: /*?variant=

قبل أن تقرر، اسأل: هل تريد أصلًا أن تُزحف روابط الخيارات؟ إن كانت تعرض المنتج نفسه، فقد يكون بقاؤها محجوبة مقبولًا، والتقرير مجرد إشعار. القرار لك، والأداة تريك أثر كل خيار.

بعد الإصلاح

الأداة لا ترفع الملف ولا تقرأ ملفك الحقيقي. نزّل الملف الجديد وارفعه إلى جذر النطاق، ثم افتح /robots.txt في المتصفح للتأكد. تحديث التقرير في أداة مشرفي المواقع قد يأخذ وقتًا، وبعضها يتيح طلب إعادة الفحص، فراجع وثائقها. وحين تصبح الصفحة مسموحة، راجع كيف قد يظهر عنوانها ووصفها في معاينة نتيجة البحث. على المتاجر الجاهزة، لا تعدّل الملف بنفسك غالبًا، فأرسل ما وجدته إلى دعم المنصة.