كيف أطلب من زواحف الذكاء الاصطناعي مثل GPTBot ألا تجمع محتوى موقعي، دون أن أحجب محركات البحث؟

لماذا مجموعة مستقلة؟

بحسب RFC 9309، الزاحف يبحث عن مجموعة تحمل اسمه، فإن وجدها اتبعها وحدها وتجاهل مجموعة *. هذا ما يجعل الطريقة آمنة: حين تكتب مجموعة لزاحف GPTBot تمنع كل شيء، لا تتأثر مجموعة * التي تتبعها Googlebot وغيرها.

الاسم يجب أن يكون كما يعلنه الزاحف في ترويسة User-agent، والأداة تقارنه دون اعتبار لحالة الأحرف. لا نستطيع أن نعطيك قائمة كاملة بأسماء زواحف الذكاء الاصطناعي، فهي تتغير وتُضاف أسماء جديدة. خذ كل اسم من الوثائق الرسمية للشركة صاحبة الزاحف.

الخطوات في الأداة

1. في منشئ ملف robots.txt أبقِ مجموعتك الحالية لكل الزواحف (*) كما هي، مثلًا تمنع /cart/.
2. اضغط «إضافة مجموعة»، واكتب في User-agent اسم الزاحف، مثل GPTBot.
3. اكتب في Disallow الشرطة / وحدها، أي كل الموقع.
4. لعدة زواحف بالقواعد نفسها، اكتب أسماءها في المجموعة نفسها مفصولة بفاصلة. الأداة تكتب لكل اسم سطر User-agent خاصًا به.
5. رتّب المجموعات كما تحب؛ الترتيب لا يغيّر النتيجة.

هذا ما خرج بمجموعة لزاحف GPTBot ومجموعة * تمنع /cart/:

User-agent: GPTBot Disallow: / User-agent: * Disallow: /cart/

اختبر قبل النشر

في «اختبار مسار» كتبنا /products/oud مرتين:

• مع GPTBot: ممنوع من الزحف، والقاعدة الفائزة Disallow: /، والمجموعة المستخدمة هي مجموعته. والنتيجة نفسها ظهرت حين كتبنا الاسم بأحرف صغيرة gptbot.
• مع Googlebot: مسموح بالزحف، ولا قاعدة مطابقة، واستُخدمت مجموعة * لأنه لا توجد مجموعة باسم Googlebot.

لاحظ أن /cart/ ليست ضمن مجموعة GPTBot، لكن هذا لا يهم هنا لأن Disallow: / يمنع كل شيء أصلًا. إن أردت لزاحف ما قواعد جزئية، فتذكّر أنه لن يرث شيئًا من مجموعة *، فاكتب كل ما تريده في مجموعته.

حدود يجب أن تعرفها

• الملف طلب لا منع. الزاحف الذي يتجاهل robots.txt لن يتأثر، ومنعه فعلًا يحتاج إعدادًا على الخادم أو جدار حماية.
• القواعد لا تحذف ما جُمع سابقًا. هي تخص الزحف من الآن.
• الملف منشور للجميع، فأي شخص يرى الزواحف التي طلبت إبعادها.
• على المتاجر الجاهزة لا تتحكم غالبًا في الملف. افحص ما تنشره منصتك واسأل دعمها عن الخيارات المتاحة.