هيلبرنت | Helpernt - أمثلة على طريقة كتابة robots.txt

السلام عليكم ورحمة الله وبركاته

الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.

لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:

تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.

Disallow:طريقة المنع

Crawl-delay:مدة تاخير بين زيارة اخرى

Request-rate:معدل طلب الصفحة

Visit-time:الاوقات المسموح بها بالزيارة

sitemap:خارطة الموقع بصيغة .xml او .xml.gz

-------
نبدأ الامثلة:
1.

كود:

User-agent: *

Disallow:

نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.

2.

كود:

User-agent: *

Disallow: /

هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.

3.

كود:

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

منع الجميع من زيارة مجلدين cgi-bin و tmp

4.

كود:

User-agent: *

Disallow: /downloads/index.html

نمنع الجميع من زيارة صفحة معينة

5.

كود:

User-agent: BadBot

Disallow: /

هذا ربوت سيء امنعه من دخول الي الموقع

6.

كود:

User-agent: ]DontLikeBot

Disallow: /private/

اريد ان امنع هذا الروبوت من مجلد واحد فقط

7.

كود:

User-agent: *

Disallow: /

Request-rate: 1/5         

Visit-time: 0600-0800

مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt

8.

كود:

User-agent: msnbot 

Crawl-delay: 120

سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.

9.

كود:

Sitemap: http://www.ketaballah.net/sitemap.xml

لكل السبيدرز هذا هو رابط خريطة موقعي

10.

كود:

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow: /cgi-bin/

نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin

بالتوفيق اعزائي