ملف robots.txt لمنتديات vBulletin الجيل السادس

[Abo-Karim]

السلام عليكم ورحمه الله وبركاته​

ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف Robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخولللاعضاء
2 - صفحة التسجيلللزوار
3 - اقسام الارشيف
4- اقسام الادارة
4- صفحات اخرى لاتريد ارشفتها

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

لاتنسى بتغيير رابط الخريطة من // https://www.helpernt.com/vb/maps.php لتكون مطابقة لموقعكم