ابتداءً من شهر سبتمبر روبوت البحث جوجل بوت سيتجاهل اوامر noindex و nofollow
نٌشر خبر على مدونة جوجل لمشرفي المواقع ، أعلنت فيه جوجل وبشكل نهائي أنها لن تدعم الأوامر noindex , nofollow, crawl-delay بعد الآن في ملف robots.txt . وبذلك فأن روبوت البحث Googlebot سيتجاهل هذه الأوامر بعد الآن ولن ينفذها . أفادت جوجل أن هذا الأجراء سيتم تنفيذه بداية من 1 سبتمبر 2019.
وأضافت معلقة على ذلك القرار :
رأينا أن استخدام هذه الأوامر يتعارض مع أوامر أخرى في ملفات robots.txt للمواقع باستثناء نسبة تقدر بـ 0.001٪ فقط. هذه الأخطاء تؤثر على ظهور مواقع الويب في نتائج بحث Google بطرق لا نعتقد أن مشرفي المواقع يقصدونها.
وأكملت شركة جوجل عبر المقالة : من أجل الحفاظ على نظام بيئي صحي والإعداد لإصدارات مستقبلية مفتوحة المصدر محتملة ، فإننا نقرر عدم دعم جميع الأكواد التي تتعامل مع القواعد غير المدعومة وغير المنشورة (مثل noindex) ابتداءً من تاريخ 1 سبتمبر 2019.
بالنسبة لأصحاب المواقع الذين يعتمدون على أمر noindex في ملف robots.txt ، والذي يتحكم في الزحف بطبيعة الحال ، هناك عدد من الحلول الأخرى التي يمكنكم استخدامها .
يجب قراءة هذا الموضوع : ماهو Noindex , او مامعنى منع الفهرسة No index
الحلول البديلة بعدما قررت جوجل بأنها لن تدعم noindex :
- استخدام noindex في ميتا تاج meta tag ( موضحه في موضوع الأخ هيلبر نت )
- استخدام Disallow في ملف robots.txt
- حماية الصفحة التي لا تريد فهرستها بكلمة المرور
- حذف الرابط من صفحة مشرفي المواقع
- استخدام أعادة التحويل وتعريف ان الصفحة غير موجودة باستخدام خطأ 410 أو 404
المصدر : جوجل لن تدعم noindex و nofollow و Crawl-delay في ملف robots.txt