هيلبرنت | Helpernt - افضل ملف روبوتس مع شرح اوامره

ماهو ملف robots.txt ؟
هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol. و وظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.
اولا :
كود لتوجيه العناكب جميعا

كود:

User-agent: *

ما هذا الكود ؟
هذا الكود لجميع العناكب و هذا افضل من غيره اي تضع عناكب قوقل بكود وياهو بكود واللخ
و النجمة * تعني جميع العناكب

ثانيا
Disallow:
هذا يمنع العناكب من الدخول لملفات معينة

كود:

Disallow: /forums/archive/

Disallow: /forums/admincp/

Disallow: /forums/attachments/

Disallow: /forums/calendar.php

Disallow: /forums/clientscript/

Disallow: /forums/cpstyles/

Disallow: /forums/customavatars/

Disallow: /forums/customprofilepics/

Disallow: /forums/faq.php

Disallow: /forums/images/

Disallow: /forums/install/

Disallow: /forums/includes/

Disallow: /forums/login.php

Disallow: /forums/misc.php

Disallow: /forums/member.php

Disallow: /forums/modcp/

Disallow: /forums/memberlist.php

Disallow: /forums/newreply.php

Disallow: /forums/newthread.php

Disallow: /forums/private.php

Disallow: /forums/register.php

Disallow: /forums/sendmessage.php

Disallow: /forums/signaturepics/

Disallow: /forums/sendpm.php

Disallow: /forums/search.php

مع تغيير forums الى اسم مجلد منتداك مثلا هيكون vb

ثالثا
Allow:
هذا يسمح للعناكب في الدخول الى اي مجلد
ينصح

كود:

Allow: /

Allow: /vb

Allow: /directory

Allow: /host

مع تغيير vb و directory و host بمجلدات موقعك

رابعا

اضافة ملفات الخرائط
Sitemap:
وهي اضافة خرائط موقعك لتوجيه العناكب لها
ينصح بهذا

كود:

Sitemap: http://www.helpernt.com/vb/external.php

Sitemap: http://www.helpernt.com/vb/external.php?type=rss

Sitemap: http://www.helpernt.comvb/external.php?type=rss2

Sitemap: http://www.helpernt.com/vb/external.php?type=xml

Sitemap: http://www.helpernt.com.net/vb/archive/index.php

انتهى الموضوع بحمد الله تعالى