أمثلة على طريقة كتابة robots.txt

[هيلبرنت]

السلام عليكم ورحمة الله وبركاته​

الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.

لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:

تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.

Disallow:طريقة المنع

Crawl-delay:مدة تاخير بين زيارة اخرى

Request-rate:معدل طلب الصفحة

Visit-time:الاوقات المسموح بها بالزيارة

sitemap:خارطة الموقع بصيغة .xml او .xml.gz

-------
نبدأ الامثلة:
1.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.

2.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.

3.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

منع الجميع من زيارة مجلدين cgi-bin و tmp

4.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

نمنع الجميع من زيارة صفحة معينة

5.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

هذا ربوت سيء امنعه من دخول الي الموقع

6.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

اريد ان امنع هذا الروبوت من مجلد واحد فقط

7.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt

8.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.

9.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

لكل السبيدرز هذا هو رابط خريطة موقعي

10.

🔒 يجب تسجيل الدخول لمشاهدة محتوى الكود.

نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin

بالتوفيق اعزائي