ماهو ملف robots.txt واهميته والاكواد الواجب توافرها بداخله حتى تصل عناكب جوجل لموقعك
 

فى البدايه الكل من اصحاب المواقع تبحث عن اى ملف robots وتاخد كوبى وتضعه مباشرا لموقعها وتغفل اهمية هذا الملف الرهيب جدا من وجهة نظرى والان ياتى دونا بمعهدكم بفتح النقاش والتوعية لاهمية الملف والاكواد الواجب توافرها به تعالو الان نتعرف على شرح مفصل باذن الله يشرح لكم ملف الروبوتس
فى البداية ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف Robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخولللاعضاء
2 - صفحة التسجيلللزوار
3 - اقسام الارشيف
4- اقسام الادارة
4- صفحات اخرى لاتريد ارشفتها
كيف يمكننا انشاء ملف Robots.txt ؟
لإنشاء ملف robots.txt يدويا فقط عليك تتبع المراحل التالية:
أولا نقوم بإنشاء ملف بواسطة محرر النصوص نسميه robots و نتركه بإمتداد .txt (الإمتداد الإفتراضي).
ثانيا نقوم بملئ الملف “بالأوامر” التي نريد إعطاها للعناكب حسب رغبتنا.
ثالثا نقوم برفع الملف إلى جدر الموقع (الملف الرئيسي).
الامور والاكواد الواجب توافرها اثناء صنع ملف روبوتس

النجمة هنا تعني السماح دون استثناء للعناكب بزيارة موقعك والتصفحة بداخله



السماح للعناكب الخاصة بمحتوى الهواتف المحمولة لارشفة المحتوى الخاص بها :



السماح لعناكب اعلانات ادسنس من الدخول على الموقع وبالتالي زيادة ارشفة محتوى الموقع :




ادراج رابط خريطة الموقع Sitemap.xml :





في النهاية سيكون ملف توجيه العناكب Robots.txt جاهز الان للرفع

وفقكم الله

رد: ماهو ملف robots.txt واهميته والاكواد الواجب توافرها بداخله حتى تصل عناكب جوجل لموقعك
 

شكرا لك

علطرح اخى