الموضوع: مشكله في ملف robots.txt
عرض مشاركة واحدة
قديم 11-23-2018, 12:30 PM
المشاركة 6
الصورة الرمزية هيلبرنت
هيلبرنت
.:: رفيق درب ::.
  • هيلبرنت غير متواجد حالياً
افتراضي رد: مشكله في ملف robots.txt
ده كود تقدر تستخدمه مفتوح المصدر والمجلدات لجميع العناكب
كود:
User-agent: Slurp
Crawl-delay: 5

# Sitemap
Sitemap: ضع رابط خريطة موقعك
لاحظ هنا
  • User-agent: Slurp معناها كل المحركات مسموح لها بفهرسة كل شى
  • Crawl-delay: 5 زمن التاخير بين كل عنكب واخر حتى لا تحمل على الاستضافة
  • Sitemap: ضع رابط خريطة موقعك (طبعا مفهومة)