متجري على سلة أو زد ولا أستطيع تعديل ملف robots.txt، كيف أتأكد أن صفحات منتجاتي غير محجوبة فيه؟

لماذا تقرأ الملف بدل أن تكتبه؟

في المتاجر الجاهزة لا تصل عادة إلى جذر النطاق لترفع ملفك، والمنصة تكتب robots.txt لكل المتاجر بقواعد عامة. لا نستطيع أن نقول لك ما في ملف منصتك اليوم، فهذا يتغير ويختلف بين المنصات. لكنك تستطيع قراءته في أي وقت، لأنه ملف عام. منشئ ملف robots.txt هنا أداة فحص: تعيد فيها كتابة القواعد التي قرأتها، ثم تسألها عن مساراتك.

الخطوات

1. افتح في المتصفح عنوان متجرك وبعده /robots.txt، وانسخ محتواه إلى ملاحظة جانبية.
2. في الأداة، اكتب في خانة User-agent للمجموعة الأولى ما بعد أول سطر User-agent في الملف، مثل *.
3. انسخ مسارات أسطر Disallow لتلك المجموعة إلى خانة Disallow، كل مسار في سطر، دون الكلمة Disallow نفسها. وكذلك أسطر Allow.
4. إن كان في الملف مجموعات أخرى لزواحف بالاسم، فأضف مجموعة لكل منها بزر «إضافة مجموعة».
5. في «اختبار مسار» الصق رابط منتج كامل من متجرك، واترك اسم الزاحف Googlebot أو غيّره.

مثال

لنفترض أن ملف متجر فيه مجموعة واحدة لكل الزواحف تمنع /cart/ و/checkout/ و/search. أدخلناها، ثم اختبرنا عدة مسارات مع Googlebot:

User-agent: * Disallow: /cart/ Disallow: /checkout/ Disallow: /search

• /products/oud: مسموح بالزحف. لا توجد قاعدة مطابقة، وما لا قاعدة له مسموح. واستُخدمت مجموعة * لأنه لا توجد مجموعة باسم Googlebot.
• /cart/: ممنوع، والقاعدة الفائزة Disallow: /cart/.
• /search?q=oud: ممنوع بالقاعدة /search، وهذا مقصود على الأرجح.
• /search-results: ممنوع أيضًا بالقاعدة نفسها، لأن القاعدة بلا شرطة أخيرة تطابق كل ما يبدأ بها. إن كانت لديك صفحة مهمة يبدأ مسارها بهذه الحروف، فهذه ملاحظة تستحق السؤال.

ما الذي يعنيه الاختبار وما لا يعنيه

الأداة لا تزور متجرك ولا تقرأ الملف الحقيقي بنفسها، فالنتيجة صحيحة بقدر دقة ما نسخته. ونتيجة «مسموح بالزحف» لا تعني أن الصفحة مفهرسة، فقط أن هذا الملف لا يمنعها. الاختبار يتبع قواعد RFC 9309، والزواحف الحقيقية قد تختلف في التفاصيل، فراجع أدوات مشرفي المواقع لمحرك البحث إن أردت رأيه هو. وفي الغالب يشير ملف المنصة أيضًا إلى خريطة موقعها في سطر Sitemap، فلا تحتاج إلى إنشاء خريطة بنفسك عبر منشئ خريطة الموقع XML لمتجر مستضاف.