كيف أكتب قاعدة في robots.txt لحجب مجلد اسمه عربي مثل /منتجات-قديمة/؟
اكتب القاعدة بالصيغة المرمّزة للاسم، لا بالحروف العربية. الزواحف تطلب المسار العربي بشكله المرمّز الذي يبدأ بعلامات %، والأداة تقارن المسارات نصًا كما تُكتب دون أن تفك الترميز. رمّز اسم المجلد في أداة ترميز الروابط، والصق الناتج في Disallow، ثم اختبره برابط كامل.
لماذا لا تعمل القاعدة بالحروف العربية؟
المتصفح يعرض لك /منتجات-قديمة/ بحروف عربية لأنه أسهل للقراءة، لكن الطلب الذي يُرسل إلى الخادم يحمل الاسم مرمّزًا، كل حرف عربي يصبح مجموعة رموز تبدأ بعلامة %. الزاحف يقارن قواعدك بهذا الشكل المرمّز.
اختبرنا ذلك في منشئ ملف robots.txt: القاعدة /منتجات-قديمة/ بحروفها العربية لم تطابق المسار المرمّز لصفحة داخل المجلد. أما القاعدة المرمّزة فطابقته. وانتبه: الأداة قبلت القاعدة العربية وكتبتها في الملف دون أي تنبيه، فالخطأ لن يظهر لك إلا في الاختبار.
الخطوات
- افتح ترميز وفك ترميز الروابط واختر الترميز بوضع «رابط كامل»، والصق المسار /منتجات-قديمة/.
- انسخ الناتج، وهو السطر المرمّز الذي يظهر في الملف أدناه.
- الصقه في خانة Disallow في منشئ robots.txt كما هو.
- في «اختبار مسار» الصق رابطًا كاملًا لصفحة داخل المجلد، بحروفه العربية كما في المتصفح، مثل https://example.com/منتجات-قديمة/oud-1.
- تأكد أن النتيجة «ممنوع من الزحف» والقاعدة الفائزة هي قاعدتك المرمّزة.
User-agent: *
Disallow: /%D9%85%D9%86%D8%AA%D8%AC%D8%A7%D8%AA-%D9%82%D8%AF%D9%8A%D9%85%D8%A9/
فخ في الاختبار: الرابط الكامل أم المسار؟
حين تلصق رابطًا كاملًا يبدأ بالبادئة https://، تستخرج الأداة منه المسار وترمّزه تلقائيًا، فيصبح /%D9%85...%D8%A9/oud-1، أي الشكل الذي يطلبه الزاحف فعلًا. أما إن كتبت المسار وحده بحروف عربية، فستقارنه الأداة كما كتبته. عندها ستبدو القاعدة العربية ناجحة في الاختبار رغم أنها لن تطابق طلب الزاحف الحقيقي. لذلك اختبر دائمًا بالرابط الكامل، أو بالمسار المرمّز.
تفاصيل الترميز
- حالة الأحرف في الرموز مهمة للأداة: القاعدة المكتوبة برموز صغيرة مثل %d9%85 لم تطابق المسار برموز كبيرة %D9%85. انسخ الناتج من أداة الترميز كما هو.
- الشرطة - والأرقام والحروف اللاتينية في الاسم تبقى كما هي، ويُرمّز العربي فقط.
- لا تضع المسافة في قاعدة. إن كان في الاسم مسافة فهي تُرمّز %20، والأداة تنبّهك إن كتبت مسافة.
- الحجب يمنع الزحف لا الفهرسة، ولا يخفي المجلد عن أحد، فالملف عام.
الزواحف الحقيقية قد تتعامل مع الترميز بطرق مختلفة في التفاصيل، والأداة تتبع مقارنة نصية صارمة كي لا تعطيك نتيجة أكثر تفاؤلًا من الواقع. إن كان متجرك على منصة جاهزة، فالملف غالبًا ليس بيدك، لكنك تستطيع اختبار ملف المنصة بالطريقة نفسها.
أسئلة شائعة
هل أكتب القاعدتين، العربية والمرمّزة؟
المرمّزة تكفي لما يطلبه الزاحف. العربية لا تضر لكنها لا تطابق طلبًا مرمّزًا.
هل الأداة ترمّز القاعدة تلقائيًا؟
لا. هي تكتب القاعدة كما تكتبها، وترمّز فقط الرابط الكامل الذي تلصقه في الاختبار.
وهل ينطبق هذا على خريطة الموقع؟
منشئ خريطة الموقع يرمّز الروابط العربية بنفسه. أما robots.txt فعليك ترميز القاعدة.