ما هو ملف Robots.txt ؟
Robots.txt هو ملف يوضع لدى الخادم server و يقوم بمنع محركات البحث من المرور على موقع معين او {على صفحات معينة في هذا الموقع }وادراجها . اي انه يمكنك من حجب موقع كامل عن محركات البحث او قسم معين في الموقع بحيث يصبح غير موجود
بالنسبة لمحركات البحث المختلفة .
لماذا احتاج الى ملف robots.txt في موقعي ؟
على الرغم من ان فكرة حجب بعض الصفحات عن محركات البحث ليست جيدة ككل , لكن قد تحتاج الى معرفة الاساسيات عن هذا الملف وذلك للاسباب التالية
ــ قد ترغب في منع محركات البحث من ادراج الصفحات التي ما زالت تحت الانشاء ولم تكتمل بعد.
ــ او اذا كان هناك صفحة تحتوي على معلومات حساسة وشخصية ولا ترغب ان تصل اليها محركات البحث او ان تقوم بادراجها.
ــ اذا كان الموقع يحتوي على ما يسمى ب out-door page وهي تعني صفحات متشابهة في المضمون لكنها مهيئة لمحركات البحث المختلفة فمثلا قد يضم موقعك صفحة عن مبدا عمل محرك السيارة فتقوم بانشاء صفحة موجهة لمحرك بحث جوجل واخرى بنفس الموضوع لكنها مهيئة ومعدة لمحرك الياهو وهكذا , عندئذ قد تود بحجب صفحات معينة حتى لا يتم تصنيف موقعك على انه سبام بسبب وجود صفحات متشابهة فهذه تعتبر مخالفة وقد يتم حجب الموقع .
ــ اذا كنت تود في حجب موقعك من الظهور في نتائج بعض محركات البحث وخاصة تلك التي يكون هدفها الاول جمع عناوين الايميلات .
كيف اقوم بانشاء ملف Robots.txt ؟
ان انشاء ملف robots.txt سهل وبسيط , يمكنك فعل ذلك عن طريق برنامج notpad او عن طريق موقع webmaster tools او عن طريق الميتا تاغ .
وسنبدا بالطريقة الاولى
ــ انشاء ملفRobots.txt يدويا طريق برنامج notpad :
هناك سطران اساسيان لعمل ملف robots.txt
يمكنك استعمال هذين السطرين والتعديل عليهما لحجب اي ملف من الادراج سواء في محرك بحث محدد او في جميع محركات البحث المختلفة , سنورد بعض الامثلة للتوضيح :
لنفرض انك قمت بانشاء قسم جديد في موقعك باسم vediogame واردت حجبه عن محرك جوجل مثلا
فعليك بكتابة السطرين كمل يلي