هيلبرنت | Helpernt

هيلبرنت | Helpernt (https://www.helpernt.com/vb/index.php)
-   ركن تقنيات محركات البحث سيو SEO (https://www.helpernt.com/vb/forumdisplay.php?f=15)
-   -   [ شرح ] : طريقة انشاء ملف الروبوتس robots.txt بالكامل (https://www.helpernt.com/vb/showthread.php?t=4499)

هيلبرنت 09-03-2016 10:27 PM

طريقة انشاء ملف الروبوتس robots.txt بالكامل
 
السلام عليكم ورحمة الله وبركاته
الكثير من أصحاب المواقع لا يعرفون أهمّية هذا الملف وطريقة التعامل معه اليوم سأعطيكم لمحة قصيرة توضّح عمله وكيفيّة التعامل معه.
ملف الربوتس هو عبارة عن دليل لعناكب البحث يدلّهم أين مسموح لهم الدخول أو عدم الدخول لتفهم أكثر شاهد هذه العبارات



كود:

User-agent: *
Allow: /
Disallow: /


طبعا تعرفونها لكن القليل يعلم ما هي وما دورها لنبدأ بعبارة



كود:

User-agent: *

هذه تعني السماح بالدخول والنجمة بجانبها تعني الكل يعني السماح لجميع العناكب بالدخول أينما تريد لكن لو حذفنا النجمة ووضعنا إسم جوجل طبعا باللغة الإنجليزية (google)هذا يعني أن فقط عناكب جوجل هي المسموح لهابالدخول أو إذا وضعنا إسم ياههو(yahoo) فقط عناكب الياهو هي المسموح لها بالدخول وهكذا مع جميع المواقع الأخرى التي ترسل عناكبها أظن أنّ هذه النقطة تمّ تويحها لكن هذا لا يعني أنّ العناكب ستدخل يمكنك القول هذا فقط الترحيب بالعناكب.

العبارة الثانية وهي



كود:

Allow: /

هذه العبارة هي مفتاح الدخول للصفحات يعني نطاقك لاحظ معي السلاش باللون الأخضر



كود:

www.helpernt.com/

ولاحظ السلاش باللون الأخضر بالعبارة



كود:

Allow: /

هذا يعني أن العناكب مسموح لها بالدخول إلى أي ملف أو صفحة بعد السلاش الأخضر لكن لو أحببنا إرسال العناكب إلى ملف معيّن مثلا ملف إسمه (seo) فستكون العبارة هكذا



كود:

Allow: /seo

نفس الطريقة يمكنك وضعها لأي ملف تحدّده والأفضل أن لا تحدّد أي ملف لأن العبارة الثالثة ستغنيك عن هذا.

العبارة الثالثة وهي



كود:

Disallow: /

تعني عدم السماح بالدخول لملف ما مثلا لاحظ معي الملف (cgi-bin)



كود:

Disallow: /cgi-bin

هذا يعني أنّي أوقفت العناكب من الدخول للملف و كما قلت مسبقا بدلا من تحديد الملفات للعناكب لتدخل إليها هذا الملف يوقفها.
إذا فالملفات المراد أرشفتها كثيرة لذالك لا نحدّد أي ملف في العبارة الثانية وتدعها عامّة
والملفات المراد عدم أرشفتها قليلة نحدّدها في العبارةالثالثة ونرتاح.

هناك عبارة رابعة وهي



كود:

Sitemap:

هذه العبارة تستعمل لتدلّ عناكب البحث عن خرائط موقعك وتكون حسب عدد خرائط موقعك هكذا



كود:

Sitemap: http://www.helpernt.com/vb/sitemap.php
Sitemap: http://www.helpernt/vb/external.php?type=html
Sitemap: http://helpernt.com/sitemap.html
Sitemap: http://www.helpernt.com/vb/external.php?type=rss
Sitemap: http://www.helpernt.com/vb/external.php?type=rss2
Sitemap: http://www.yoursite.com/ror.xml
Sitemap: http://www.helpernt.com/sitemap.xml
Sitemap: http://www.helpernt.com/sitemap.xml.gz
Sitemap: http://www.yoursite.com/urllist.txt



وهذا هو شكل للملف الغالب استعماله

كود:

User-agent: *
Allow: /
Allow: /vb/
Disallow: /cgi-bin/
Disallow: /vb/member.php?find=lastposter&f=
Disallow: /vb/*mode=
Disallow: /vb/*postcount=
Disallow: /vb/*daysprune=
Disallow: /vb/misc.php?do=whoposted&t=*
Sitemap: http://www.yoursite.com/vb/sitemap.php
Sitemap: http://www.helpernt/vb/external.php?type=html
Sitemap: http://helpernt.com/sitemap.html
Sitemap: http://www.helpernt.com/vb/external.php?type=rss
Sitemap: http://www.helpernt.com/vb/external.php?type=rss2
Sitemap: http://www.yoursite.com/ror.xml
Sitemap: http://www.helpernt.com/sitemap.xml
Sitemap: http://www.helpernt.com/sitemap.xml.gz
Sitemap: yoursite.com/urllist.txt



إنتهينا
والسلام عليكم


ahmed200 09-07-2016 03:39 PM

رد: شرح هام جدا لتفهم وظيفة واهمية ملف الروبوتس (robots.txt)
 
ممتاااااااااااااااااااااا از

abo-karim 12-28-2016 07:17 PM

رد: شرح هام جدا لتفهم وظيفة واهمية ملف الروبوتس (robots.txt)
 
ابدعت يا وحش

~ GOOGLE ~ 12-28-2016 11:11 PM

رد: شرح هام جدا لتفهم وظيفة واهمية ملف الروبوتس (robots.txt)
 
شرح وافي وجميل تشكر يا اخي

abo-karim 01-01-2017 02:01 AM

رد: شرح هام جدا لتفهم وظيفة واهمية ملف الروبوتس (robots.txt)
 
تم تحديث الصور

الاعصر 01-08-2017 12:17 AM

رد: طريقة انشاء ملف الروبوتس robots.txt بالكامل
 
شرح رائعه الله يسلم


الساعة الآن 11:12 PM

Powered by vBulletin® Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. TranZ By Almuhajir