ما هو ملف robots.txt و كيف يتم انشاؤه

احصائياتى



الردود
1



المشاهدات
2097



نسيت النوم

.:: عضو تشيط ::.



المشاركات
289



+التقييم
90



تاريخ التسجيل
Aug 2015



الاقامة



نظام التشغيل



رقم العضوية
30

08-15-2015, 09:44 PM

المشاركة 1

08-15-2015, 09:44 PM

المشاركة 1

ما هو ملف robots.txt و كيف يتم انشاؤه

ما هو ملف robots.txt و كيف يتم انشاؤه

ما هو ملف Robots.txt ؟

Robots.txt هو ملف يوضع لدى الخادم server و يقوم بمنع محركات البحث من المرور على موقع معين او {على صفحات معينة في هذا الموقع }وادراجها . اي انه يمكنك من حجب موقع كامل عن محركات البحث او قسم معين في الموقع بحيث يصبح غير موجود

بالنسبة لمحركات البحث المختلفة .

لماذا احتاج الى ملف robots.txt في موقعي ؟

على الرغم من ان فكرة حجب بعض الصفحات عن محركات البحث ليست جيدة ككل , لكن قد تحتاج الى معرفة الاساسيات عن هذا الملف وذلك للاسباب التالية

ــ قد ترغب في منع محركات البحث من ادراج الصفحات التي ما زالت تحت الانشاء ولم تكتمل بعد.

ــ او اذا كان هناك صفحة تحتوي على معلومات حساسة وشخصية ولا ترغب ان تصل اليها محركات البحث او ان تقوم بادراجها.

ــ اذا كان الموقع يحتوي على ما يسمى ب out-door page وهي تعني صفحات متشابهة في المضمون لكنها مهيئة لمحركات البحث المختلفة فمثلا قد يضم موقعك صفحة عن مبدا عمل محرك السيارة فتقوم بانشاء صفحة موجهة لمحرك بحث جوجل واخرى بنفس الموضوع لكنها مهيئة ومعدة لمحرك الياهو وهكذا , عندئذ قد تود بحجب صفحات معينة حتى لا يتم تصنيف موقعك على انه سبام بسبب وجود صفحات متشابهة فهذه تعتبر مخالفة وقد يتم حجب الموقع .

ــ اذا كنت تود في حجب موقعك من الظهور في نتائج بعض محركات البحث وخاصة تلك التي يكون هدفها الاول جمع عناوين الايميلات .

كيف اقوم بانشاء ملف Robots.txt ؟

ان انشاء ملف robots.txt سهل وبسيط , يمكنك فعل ذلك عن طريق برنامج notpad او عن طريق موقع webmaster tools او عن طريق الميتا تاغ .

وسنبدا بالطريقة الاولى

ــ انشاء ملفRobots.txt يدويا طريق برنامج notpad :

هناك سطران اساسيان لعمل ملف robots.txt

user-agent : [ spider or bots name ]

disallow : [Directory or FileName]

يمكنك استعمال هذين السطرين والتعديل عليهما لحجب اي ملف من الادراج سواء في محرك بحث محدد او في جميع محركات البحث المختلفة , سنورد بعض الامثلة للتوضيح :

لنفرض انك قمت بانشاء قسم جديد في موقعك باسم vediogame واردت حجبه عن محرك جوجل مثلا

فعليك بكتابة السطرين كمل يلي

user-agent : googlebot

disallow : /vediogame/

ملاحظة : يسمى الزاحف الخاص بمحرك جوجل والذي يقوم بالمرور على المواقع باسم googlebot

اما اذا اردت حجب القسم عن جميع محركات البحث فاستبدل السطر الاول بما يلي

user-agent : *

ضع النجمة لتدل على جميع محركات البحث

لجحب جميع محتويات الموقع عن جميع محركات البحث

use-agent : *

Disallow : /

ملاحظة يجب الحذر عند كتابة هذه الاسطر فمثلا اذا نسيت كتابة / فسيتحول الامر الى ترحيب بمحركات البحث ودعوة لزيارة الموقع بدلا من حجبها .

ــ ماذا ان لم استطع عمل ملف robots.txt ؟

في بعض الاحيان لا تستطيع انشاء ملف robots.txt بسبب مشاكل في السيرفر , هناك خيار سهل وبسيط وهو اضافة سطر الى الميتا تاغ كما يلي :

META NAME = ''ROBOTS'' CONTENT=''NOINDEX''

ــ انشاء ملف Robots.txt عن طريق google webmaster tools

1ـاذهب الى صفحة مشرفي المواقع الخاصة بك webmaster tool

2ـاختر الموقع الذي تريده

3ـانقر على generate robots.txt tabs

4ـالان اختر allow all robots

5ـ ثم حدد جميع الزواحف التي تود حجب الصفحة عنها

6ـالان قم بتعديل الخيارات التالية مثلا لحجب الزاحف الخاص بجوجل من تصفح موقعك قم بما يلي

ــ في قائمة action اختر disallow

ــ عند قائمة robots اختر googleblot

ــ في قائمة file or directons ضع اشارة /

7ـ الان انقر على اضافة add وسيتم عمل كود تلقائيا لملف Robots.txt الخاص بك واحفظ الملف عن طريق تحميله تحت اسم robots.txt وليس اي اسم اخر

ملاحظة : احفظ الملف في اسم نطاقك الرئيسي مثل :

كود:

 www.example.com/robots.txt

ولا تستخدم اي نطاق فرعي مثل :

كود:

www.example.com/mysites/robots.txt

هذا غير صحيح ولن يتم التعرف على الملف

كيف اختبر ملف Robots.txt الذي انشاته ؟

يمكنك اختبار اذا كان هناك ملف Robots.txt الذي انشاته يقوم بحجب زاحف جوجل عن طريق الخطا او اذا كان زاحف جوجل يصل الى صفحات لا تود ادراجها في موقعك .

اولا اذهب الى موقع مشرفي المواقع وادخل الى حسابك الخاص

تحت site configuration اختر crawl access.

اذا لم تجد هذا الخيار فانقر على test robots.txt tab.

انسخ محتويات ملفRobots.txt الخاص بك والصقها في الصندوق الفارغ الذي ستجده .

في خانة urls ادخل روابط المواقع التي تود اختبارها .

في قائمة user-agents list اختر محركات البحث التي قمت بحجب صفحاتك عنها .

ملاحظة اي تغيير تقوم به لن يتم حفظه عليك بنسخ التحديثات والصاقها في ملف الخاص بك .

كما تجدر الاشارة الى ان هذا الفحص خاص بزاحف جوجل فقط .

03-04-2018, 07:33 PM

المشاركة 2

هيلبرنت

.:: رفيق درب ::.



رد: ما هو ملف robots.txt و كيف يتم انشاؤه

Up

up

up

رد مع الإقتباس

اضافة رد

العلامات المرجعية

ما هو ملف robots.txt و كيف يتم انشاؤه

« الموضوع السابق | الموضوع التالي »

أدوات الموضوع
مشاهدة صفحة طباعة الموضوع أرسل هذا الموضوع إلى صديق

الانتقال السريع

المواضيع المتشابهه للموضوع: ما هو ملف robots.txt و كيف يتم انشاؤه

الموضوع	كاتب الموضوع	المنتدى	مشاركات	آخر مشاركة
ملف Robots لموقعي	moustafa	ركن مشاكل وطلبات الزين فورو XENFORO	5	02-13-2021 05:47 PM
[blogger] استفسار حول ملف robots.txt هل هو صحيح او لا	you44	ركن تطوير المواقع	5	12-31-2020 10:15 PM
شرح ملف robots.txt بالكامل	هيلبرنت	ركن تقنيات محركات البحث سيو SEO	2	12-29-2019 08:42 PM
مشكله في ملف robots.txt	نواف الحربي	ركن مشاكل وطلبات المنتديات	10	11-23-2018 09:03 PM
مشكلة فى ملف robots.txt فى المنتدى	samehfr	ركن مشاكل وطلبات المنتديات	2	12-02-2017 05:55 PM

يمنع منعاً باتاً نشر أى موضوعات او برامج محمية تنتهك حقوق الملكية الفكرية وعليه نرجو من الجميع التواصل مع إدارة المنتدى بالتبليغ من خلال ركن الشكاوى او بالبريد montada.helpernt@gmail.com لحذف المشاركات المخالفة.
إن مشرفي ومدراء معهد هيلبرنت بالرغم من محاولتهم المستمرة لمنع جميع المخالفات إلا أنه ليس بوسعهم إستعراض جميع المشاركات المدرجة ولا يتحمل المنتدى أي مسؤولية قانونية عن محتوى تلك المشاركات .
المعهد غير مسؤول عن أي اتفاق تجاري أو تعاوني بين الأعضاء فعلى كل شخص تحمل مسئولية نفسه إتجاه مايقوم به من بيع وشراء وإتفاق وأعطاء معلومات موقعه.

الساعة الآن 02:00 AM

بيت لكل العرب.

معهد هيلبرنت

ما هو ملف robots.txt و كيف يتم انشاؤه

ما هو ملف robots.txt و كيف يتم انشاؤه ما هو ملف Robots.txt ؟ Robots.txt هو ملف يوضع لدى الخادم server و يقوم بمنع محركات البحث...

« الموضوع السابق | الموضوع التالي »