السلام عليكم ورحمه الله وبركاته
ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توصيات و توجيهات للعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه, و أقول توصيات لأن بعض العناكب قد لا تحترم هذه الإعدادات, خاصة العناكب المزعجة “spammers ” و عناكب القرصنة التي تدخل لفحص التغرات الأمنية في المواقع.
يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم كصفحة تسجيل الدخول, صفحة التسجيل, صفحات أو اقسام لا نريد أرشفتها و كذلك لتفادي المحتوى المتكرر في محركات البحث (خطأ قاتل بالنسبة لمحرك البحث قوقل) و حذف روابط معينة أو الموقع بأكمله منها.
نمودج مثالي لملف robots.txt خاص بالجيل الثانى للزين فورو
يمكن إستعماله في أي موقع تم إنشائه بواسطة الزين فورو , فقط يجب عليك إستبدال رابط خريطة الموقع XML Sitemap بالرابط الخص بك و طبعاً يمكنك إضافة و إزالة أي أمر حسب رغبتك.
كود:
User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Allow: /
Sitemap: https://www.xxxx.com/community/sitemap.php
لاتنسى تغيير community الى اسم مجلد منتداك وايضا تغيير xxx الى اسم دومينك.
ملف الروبوتس هذا مستخدم فى الموقع الرسمى