افضل ملف روبوتس مع شرح اوامره

[هيلبرنت]

ماهو ملف robots.txt ؟
هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol. و وظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.
اولا :
كود لتوجيه العناكب جميعا

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

ما هذا الكود ؟
هذا الكود لجميع العناكب و هذا افضل من غيره اي تضع عناكب قوقل بكود وياهو بكود واللخ
و النجمة * تعني جميع العناكب

ثانيا
Disallow:
هذا يمنع العناكب من الدخول لملفات معينة

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

مع تغيير forums الى اسم مجلد منتداك مثلا هيكون vb

ثالثا
Allow:
هذا يسمح للعناكب في الدخول الى اي مجلد
ينصح

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

مع تغيير vb و directory و host بمجلدات موقعك

رابعا

اضافة ملفات الخرائط
Sitemap:
وهي اضافة خرائط موقعك لتوجيه العناكب لها
ينصح بهذا

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

انتهى الموضوع بحمد الله تعالى