كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

احصائياتى



الردود
3



المشاهدات
1231



ahmed200

.:: عضو مبدع ::.



المشاركات
584



+التقييم
24



تاريخ التسجيل
Aug 2015



الاقامة
فى القلب



نظام التشغيل
windows 8



رقم العضوية
306

11-14-2016, 11:51 AM

المشاركة 1

11-14-2016, 11:51 AM

المشاركة 1

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

بسم الله الرحمن الرحيم

مقدمة:
سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه ونقوم بوضعه فى مواقعنا دون ان نفهم محتواه او الفائده منه , بعد هذا الدرس ستفهم كل شىء عنه وستكتب محتوياته بيدك دون الرجوع لأحد , فقط تابع الدرس بتركيز .

معنى كلمة robots :
المعنى الحرفى لكلمة robots هى " الرجل الالى" وهذا ادق معنى للrobots الخاصه بمحركات البحث ولكنها ايضا يطلق عليها فى بعض الاحيان Wanderers بمعنى "المتجولون" او spiders " بمعنى عناكب ....الان بدأنا نعرف عن ماذا اتحدث عندما ذكرت كلمة عناكب اليس كذلك؟
حسنا نستخلص من هذا ان ال robots هى عناكب محركات البحث وبالتالى سيكون ملف robots.txt هو المسؤول عن توجيه هذه العناكب

ما هى العناكب وما هى وظيفتها:
عناكب محركات البحث عباره عن برامج تتصفح المواقع تلقائيا . محركات البحث مثل Google تستخدم العناكب فى أرشفة محتويات المواقع لكى تبنى بها محرك بحث Google الشهير .كما ان بعض ال spammers -وهم الذين يهتمون بجمع الايميلات ومراسلتها بغرض الدعايا- يقومون بعمل عناكب بهدف جمع الايميلات من المواقع

حتى الان عرفنا ماهى العناكب ووظيفتها وما هو ملف الـ robots.txt ووظيفته ولكن سنتعلم فى النقاط التاليه المزيد من وظائف ملف الـ robots.txt وكيفية كتابتة واعداده

بأختصار:
اى صاحب موقع يجب عليه ان يقوم بعمل ملف robots.txt لكى يقوم بتوجيه عناكب محركات البحث القادمة الى موقعة وهذا يسمى ببروتوكول استثناء العناكب The Robots Exclusion Protocol , وهذا مثال لكيفية عمل ملف robots.txt:

سنفترض ان احد عناكب محركات البحث جاء الى الصفحة التالية https://www.helpernt.com قبل ان يقوم بالتعامل مع الصفحة يتحقق اولا من وجود هذا الملف https://www.helpernt.com/robots.txt, وسنفترض مثلا انه وجد به الكود التالى

كود:

User-agent: * Disallow: /

هذا الكود يعنى ان الموقع يوافق على دخول جميع عناكب محركات البحث

كود:

User-agent: *

وهذا الكود يعنى انه غير مسموح لعناكب محركات البحث بزيارة اى صفحه بداخل هذا المجلد

لاحظ النقاط التالية:

بعض العناكب تتجاهل ملف الـ robots.txt مثل العناكب التى تدخل الموقع لتبحث عن الثغرات الامنية والايميلات
ملف الـ robots.txt متاح لأى زائر ويستطيع الكل قراءته لذلك لا تستخدمه لأخفاء معلومات لأنك فى هذه الحاله تفضح المعلومات ولا تخفيها

سننتقل الان الى الجزء الاهم فى هذا الشرح فرجاء التركيز
كيف يمكنك عمل ملف الـ robots.txt ؟
وهذا السؤال ينقسم الى عدة نقاط
اولا : اين يوضع ملف الـ robots.txt ؟
الاجابة المختصره على هذا السؤال:
يوضع فى مجلد الموقع الرئيسى , بمعنى ان رابط الملف بعد تركيبه سيكون بهذا الشكل http://www.example.com/robots.txt
الاجابة المفصله لهذا السؤال :
ان عناكب محركات البحث عندما تقوم بالتحقق من وجود ملف الـrobots.txt فهى تقوم بحذف جزء من الرابط هذا الجزء هو من اول slash "/"حتى نهاية الرابط وتضع مكان هذا الجزء "/robots.txt"

[RIGHT]مثال على ذلك بالنسبة لهذا الرابط http://www.example.com/shop/index.html ستقوم العناكب بحذف /shop/index.html وستضع مكانه "/robots.txt" اى انها ستبحث عن ملف ال robots.txt على هذا الرابط http://www.example.com/robots.txt
وتذكر دائما ان تكتب اسم الملف بالحروف الصغيره اى ان اسمه robots.txt ووليس Robots.TXT

ماذا سأضع بداخل ملف الـ robots.txt ؟
ملف الـ robots ملف نصى "text" وظيفته الاساسية هى الاستثناء كما سنرى
الامر ابسط مما تتخيلون
سنشرح عن طريق امثله لمحتويات ملف الـrobots.txt وتفسيرها

كود:

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/

بواسطتة هذا الكود قمنا بالسماح لجميع محركات البحث بزيارة الموقع عن طريق السطر الاول وقمنا بأستثناء هذه المجدلدت cgi-bin ,tmp من الارشفه اى منعنا عناكب محركات البحث من زيارت هذه المجلدات وكامل محتوياتها

لاحظ انك يجب ان تضع امر "Disallow" فى سطر منفصل كل مره تحجب فيها مجلد او رابط معين ولا يمكنك حجب مجلدين فى نفس الوقت عن طريق امر واحد بل ضع لكل مجلد امر "Disallow" بمفرده

كود:

User-agent: * Disallow: /

بواسطة هذا الكود نمنع كل عناكب محركات البحث من ارشفة كل محتويات الموقع

كود:

User-agent: * Disallow:

هذا الكود يسمح لجميع العناكب بالدخول وارشفة جميع محتويات الموقع ويمكنك الاستغناء عن هذا الكود برفع ملف robots.txt فارغ او عدم عمل الملف نهائيا

كود:

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/

بواسطة هذا الكود منعنا جميع العناكب من زيارة اقسام معينه من الموقع

كود:

User-agent: BadBot Disallow: /

يستخدم هذا الكود لمنع عناكب احد محركات البحث

كود:

User-agent: Google Disallow:  User-agent: * Disallow: /

هذا الكود يستخدم للسماح لعناكب احد محركات البحث بالزيارة واستثناء الاخرون

كود:

User-agent: * Disallow: /~joe/junk.html Disallow: /~joe/foo.html Disallow: /~joe/bar.html

وبالطبع هذا الكود لأستثناء الملفات كما هو ظاهر

_________________

انتهى الموضوع بحمد الله

عند النقل يرجى ذكر المصدر الاصلى

كود:

https://forum.arabia4serv.com/t16810.html

المصدر: هيلبرنت | Helpernt - من قسم: ركن تقنيات محركات البحث سيو SEO

;g lh djugr flgt hg robots>txt ,j,[di ukh;f lpv;hj hgfpe

التعديل الأخير تم بواسطة هيلبرنت ; 12-12-2020 الساعة 06:57 AM

03-19-2018, 12:52 AM

المشاركة 2

هيلبرنت

.:: رفيق درب ::.



رد: كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

موضوع رااااائع

احسنت

رد مع الإقتباس

01-08-2021, 12:34 PM

المشاركة 3

abo-karim

.:: Administrator ::.



رد: كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

مشاء الله عليك

ولله ماقصرت

شكرا

رد مع الإقتباس

01-08-2021, 03:30 PM

المشاركة 4

~ GOOGLE ~

.:: عضو مبدع ::.



رد: كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

شرح وافي تشكر يا طيب

رد مع الإقتباس

اضافة رد

العلامات المرجعية

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

« الموضوع السابق | الموضوع التالي »

أدوات الموضوع
مشاهدة صفحة طباعة الموضوع أرسل هذا الموضوع إلى صديق

الانتقال السريع

المواضيع المتشابهه للموضوع: كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

الموضوع	كاتب الموضوع	المنتدى	مشاركات	آخر مشاركة
[ شرح ] : طريقة جلب عناكب البحث لموقعك	هيلبرنت	ركن تقنيات محركات البحث سيو SEO	5	01-30-2021 07:53 PM
[ vBulletin 3 ] : هاك RSS Feeds 2.4.3 بمميزاتة الرهيبة في جلب عناكب البحث والزوار	sup4all	ركن تطوير منتديات vb3.8.0	6	12-12-2020 06:45 AM
عناكب البحث تستهلك موارد السيرفر	UnName	ركن مشاكل وطلبات المنتديات	8	03-02-2020 05:53 AM
[blogger] كود لتحسين تصنيفات موقعك في محركات البحث	هيلبرنت	ركن تطوير المواقع	3	03-19-2018 12:55 AM
ماهو ملف robots.txt واهميته والاكواد الواجب توافرها بداخله حتى تصل عناكب جوجل لموقعك	هيلبرنت	ركن تقنيات محركات البحث سيو SEO	1	02-08-2018 11:23 AM

يمنع منعاً باتاً نشر أى موضوعات او برامج محمية تنتهك حقوق الملكية الفكرية وعليه نرجو من الجميع التواصل مع إدارة المنتدى بالتبليغ من خلال ركن الشكاوى او بالبريد montada.helpernt@gmail.com لحذف المشاركات المخالفة.
إن مشرفي ومدراء معهد هيلبرنت بالرغم من محاولتهم المستمرة لمنع جميع المخالفات إلا أنه ليس بوسعهم إستعراض جميع المشاركات المدرجة ولا يتحمل المنتدى أي مسؤولية قانونية عن محتوى تلك المشاركات .
المعهد غير مسؤول عن أي اتفاق تجاري أو تعاوني بين الأعضاء فعلى كل شخص تحمل مسئولية نفسه إتجاه مايقوم به من بيع وشراء وإتفاق وأعطاء معلومات موقعه.

الساعة الآن 03:15 AM

بيت لكل العرب.

معهد هيلبرنت

كل ما يتعلق بملف ال robots.txt وتوجيه عناكب محركات البحث

بسم الله الرحمن الرحيم مقدمة: سنشرح فى هذا الدرس كل ما يتعلق بملف robots.txt هذا الملف الشهير الذى يتحدث الكثير عنه...

« الموضوع السابق | الموضوع التالي »