أمثلة على طريقة كتابة robots.txt
السلام عليكم ورحمة الله وبركاته الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير: تعريفات: user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر. Disallow:طريقة المنع Crawl-delay:مدة تاخير بين زيارة اخرى Request-rate:معدل طلب الصفحة Visit-time:الاوقات المسموح بها بالزيارة sitemap:خارطة الموقع بصيغة .xml او .xml.gz ------- نبدأ الامثلة: 1. كود:
User-agent: * 2. كود:
User-agent: * 3. كود:
User-agent: * 4. كود:
User-agent: * 5. كود:
User-agent: BadBot 6. كود:
User-agent: ]DontLikeBot 7. كود:
User-agent: * 8. كود:
User-agent: msnbot 9. كود:
Sitemap: http://www.ketaballah.net/sitemap.xml 10. كود:
User-agent: * لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin بالتوفيق اعزائي |
الساعة الآن 12:55 AM |
Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. TranZ By
Almuhajir