ما الفرق بين خريطة الموقع وملف robots.txt، وهل أحتاج الاثنين لموقعي الصغير؟
خريطة الموقع قائمة بالصفحات التي تريد أن تجدها محركات البحث، أما robots.txt فطلب من الزواحف ألا تجلب مسارات معينة، ويمكن أن يدل أيضًا على مكان الخريطة. موقع صغير يستطيع العيش دونهما، لكن الخريطة تساعد في اكتشاف الصفحات الجديدة، وسطر واحد في robots.txt يخبر كل زاحف بمكانها.
ملفان باتجاهين متعاكسين
- خريطة الموقع (sitemap.xml): تقول «هذه صفحاتي، تفضّل». ملف XML فيه رابط كل صفحة تريد ظهورها، وربما تاريخ آخر تعديل.
- ملف robots.txt: يقول «لا تدخل هنا من فضلك». ملف نصي فيه مجموعات قواعد لكل زاحف، مثل Disallow: /cart/.
- كلاهما عام، يقرؤه أي شخص على /sitemap.xml و/robots.txt، وكلاهما لا يحمي شيئًا ولا يضمن الفهرسة.
الخلط الشائع أن يُظن أن robots.txt يُدخل الصفحات إلى البحث أو أن الخريطة تخرجها منه. لا هذا ولا ذاك: الخريطة تساعد على الاكتشاف فقط، والحجب يمنع الزحف لا الفهرسة.
هل يحتاج موقعك الصغير إليهما؟
موقع من خمس صفحات مترابطة جيدًا قد تجده محركات البحث دون أي ملف. لكن حين تضيف صفحات باستمرار، مثل مدونة أو صفحات عروض موسمية، تسهّل الخريطة اكتشافها. وrobots.txt غير ضروري إن لم يكن هناك ما تريد إبعاد الزواحف عنه، مثل السلة أو صفحات الدفع أو نتائج البحث الداخلي.
وإن كان متجرك على سلة أو زد أو Shopify، فالمنصة تقدّم عادة الملفين معًا، ولا تستطيع غالبًا استبدالهما. افتح عنوان متجرك وبعده /robots.txt ثم /sitemap.xml لترى ما هو موجود.
مثال: موقع من صفحتين
لموقع تعريفي فيه الصفحة الرئيسية وصفحة «من نحن»، لصقنا الرابطين في منشئ خريطة الموقع XML، فخرج ملف واحد اسمه sitemap.xml فيه رابطان:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/</loc>
</url>
<url>
<loc>https://example.com/about</loc>
</url>
</urlset>
ثم في منشئ ملف robots.txt كتبنا مجموعة لكل الزواحف تمنع /cart/ و/checkout/، وأضفنا عنوان الخريطة في خانة Sitemap، فكتبته الأداة في نهاية الملف:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
الخطوات
- اكتب قائمة الصفحات التي تريدها في البحث، وأنشئ منها الخريطة.
- ارفع sitemap.xml إلى المجلد الرئيسي للموقع.
- ابنِ robots.txt، وضع فيه رابط الخريطة الكامل، وارفعه إلى الجذر أيضًا.
- تأكد ألا يحجب robots.txt أي رابط وضعته في الخريطة، فهاتان رسالتان متعارضتان.
الأداتان لا تزوران موقعك: الأولى تحوّل القائمة التي تعطيها، والثانية تبني الملف من القواعد التي تكتبها. وسطر Sitemap في robots.txt يسري على الملف كله، لا على مجموعة بعينها.
أسئلة شائعة
أيهما أبدأ به؟
إن لم يكن هناك ما تريد إبعاد الزواحف عنه، فالخريطة أولًا. robots.txt يأتي حين يوجد ما تحجبه أو لتدل على الخريطة.
هل يكفي سطر Sitemap بدل إرسال الخريطة من أدوات مشرفي المواقع؟
هما طريقتان للإخبار عن الملف. راجع وثائق كل محرك بحث عما يفضله.
هل الخريطة تجعل صفحاتي تظهر أسرع؟
لا نعد بذلك. هي تساعد على الاكتشاف، والفهرسة قرار محرك البحث.