السلام عليكم ورحمه الله وبركاته
درسنا اليوم اتمنى ان يفيد الاخوة حيث انه يحل مشكلة ليست صعب لكنها احيانا توْخر ارشفة مواقعنا وهذه المشكلة تظهر غالبا نتيجة عدم قصد او المام شامل لاكواد ملف الروبوتس او robots.txt وعلى فكره وقعت فى نفس المشكله بمعنى تجد روابط كثيره جدا تم تقدمها لجوجل ومورشفة لكن بكل اسف قليل جدا جدا منها مغهرس مما يودى اى تاخر الارشفة والفهرسه.
مثال يوضح عدد الروابط المقدمة لجوجل لاتساوى عدد المفهرس
ندخل الان الى الدرس- فى البداية ستقوم بالتسجيل الدخول فى ادوات مشرفى المواقع بجوجل
- نفترض انك وجدت Url blocked by robots.txt هذا الخطا عند دخولك لتفقد الخريطة ويكون على هذا الشكل
كود:
Type :Warnings
Issue :Url blocked by robots.txt.
Description :Sitemap contains urls which are blocked by robots.txt.
Issues count :7
Example http://www.helpernt.com/vb/showpost.php?p=15637&postcount=1
- هذا معنا يوجد روابط داخل خريطة المنتدى تم حجبها بواسطة ملف الربوتس ROBOTS.TXT
- والان بعد ماتعرفنا على الخطاء سنقوم بنسخ الرابط لفحصه كما بالصوره
- نذهب الى اختبار ملف الرابط من خلال robots.txt Tester لان سبب المشكله هنا هو ان ملف الروبوتس حجب اى رابط فيه هذا الامتداد
- وهذا الامتداد هو خاص بالمشاركة المنفردة طبعا كل ده فى صفحة ادوات مشرفى جوجل
بعد وضع الرابط فى المربع الفارغ امام اسم دومين اضغط TEST اى اختبار لفحص هل ملف الروبوتس فعلا غلقه ام لا شاهدو معى الصورة
فعلا ستجد ان ملف الروبوتس حاجبة لاننا جعلينى هذا الامتداد يحجبه ملف الروبتس على الفور نذهب الى السى بانل CPANEL لحذف هذا الامتداد ثم اعمل تحديث لصفحة ملف الروبتس الى فى ادوات مشرفى المواقع
وبالتوفيق
شكرا لكم