هيلبرنت | Helpernt - [ شرح ] : ملف Robots.txt لسكربت Xenforo بالتفصيل

السلام عليكم ورحمه الله وبركاته

الدرس: ضبط ملف robots.txt روبوت المسؤول عن أرشفة ومنع أرشفة الروابط غير الهامة لـ XenForo
النسخة: أي نسخة من نسخة الزين فورو XenForo

نبدأ مع احد الدروس الهامة
يعرف معظمنا ان هنالك الكثير من الروابط الموجودة في مواقعنا والتي لا داعي لأرشفتها في محركات البحث, حيث تضر بوقعنا أحيانا وقد تضعف قوته في محرك البحث او قد تفقده ثقة زواره القادمين عبر محركات البحث,,
لذلك وجب عدم أرشفتها للحفاظ على مواقعنا, وهذا يتم عبر منع أرشفة هذه الروابط بملف اسمه robots.txt
من الواجب الذكر أن هذا الملف يتم وضعه في المجلد الرئيسي للموقع على الشكل التالي:

كود:

http://www.yoursite.com/robots.txt

ولو كان لدينا رابط فرعي على الشكل التالي:

كود:

http://example.yoursite.com/robots.txt

ولا يتم وضع هذا الملف في المجلدات الفرعية داخل الدومين الرئيسي هكذا

كود:

http://www.yoursite.com/community/robots.txt هذا مثال خاطئ

أو

كود:

http://example.yoursite.com/forum/robots.txt هذا مثال خاطئ

لكل سكربت سنجد أن هناك بعض الروابط المعينة التي لا يجب أن يتم أرشفتها
في درسنا سنتطرق لهذه الروابط الموجودة في منتدى من نوع XenForo

أهم هذه الروابط:

كود:

    User-agent: *

    Disallow: /find-new/

    Disallow: /account/

    Disallow: /attachments/

    Disallow: /goto/

    Disallow: /posts/

    Disallow: /login/

    Disallow: /admin.php

    Disallow: /conversations/

    Disallow: /members/

    Disallow: /logout/

    Disallow: /lost-password/

    Disallow: /misc/style/

    Disallow: /js

    Allow: /

البعض قد لا يفضل أن يتم حجب أسماء الأعضاء وملفاتهم عن محركات البحث, لذا لمن يود ذلك يتم إزالة

كود:

Disallow: /members/

ولكم خيار إضافة أي امتداد لا تودون ان يتم ارشفته أو العكس

اقتباس:

ملاحظة: يجب الانتباه أنه في حال كان مجلد المنتدى ليس المجلد الرئيسي مثل في مجتمع معهدي فيتم إضافة المجلد كما يلي

كود:

    User-agent: *

    Disallow: /community/find-new/

    Disallow: /community/account/

    Disallow: /community/attachments/

    Disallow: /community/goto/

    Disallow: /community/posts/

    Disallow: /community/login/

    Disallow: /community/admin.php

    Disallow: /community/conversations/

    Disallow: /community/members/

    Disallow: /community/logout/

    Disallow: /community/lost-password/

    Disallow: /community/misc/style/

    Disallow: /community/js

    Allow: /

حيث يتم استبدال كلمة community باسم مجلد المنتدى الخاص بك (مثلا forums, vb)..