ملف الروبوت وكل تعديلات Meta Robots


ما هو ملف Robots.txt؟

بروتوكول
الروبوتات (REP) أو ملف robots.txt هو ملف نصي عند إنشاء المواقع فى تكوينها لتوجيه برامج الروبوت  
(الإنسان الآلي لمحرك البحث) حول كيفية الزحف ومؤشر لصفحات الموقع المفترض ظهورها على الانترنت.

اختلاف تكوين الملف فى مدونات بلوجر واسبابه مشروح فى هذه المشاركة


- ملفات الروبوتس على مدونات بلوجر


منع جميع روبوتات الزحف الى كل محتوى الموقع


User-agent: *
Disallow:


منع زاحف معين من الزحف الى قسم محددة

User-agent: Googlebot
Disallow: /no-google/


منع زاحف معين من الزحف الى صفحة محدد

User-agent: Googlebot
Disallow: /no-google/blocked-page.html


السماح لزاحف معين بزيارة صفحة محددة فى الموقع

User-agent: *
Disallow: /no-bots/block-all-bots-except-rogerbot-page.html
User-agent: rogerbot
Allow: /no-bots/block-all-bots-except-rogerbot-page.html

دلائل خريطة الموقع

User-agent: *
Disallow:
Sitemap: http://www.example.com/none-standard-location/sitemap.xml


معلومات عامة عن ملف الروبوت

ملف robots.txt هو الملف العام - يجب أن تدرك أن ملف robots.txt هو ملف متاح للجمهور. يمكن لأي شخص رؤية أجزاء
 من الخادم المسؤول عن الموقع وقد منعت من محركات البحث. هذا يعني أنه إذا كان لديه معلومات خاصة SEO المستخدم أنهم لا يريدون وضعها علنا للبحث، عليك أن تستخدم أسلوب أكثر أمنا (مثل حماية كلمة المرور) للحفاظ على الزوار من مشاهدة أية صفحات سرية لا تريد فهرستها.


اتمنى لكم التوفيق :)
 
-------

ليست هناك تعليقات:

إرسال تعليق

سياسة الخصوصية - DMCA

جميع محتويات الموقع لا تنتهك حقوق الملكية عند وجود أي مشاركة مخالفة يرجي الابلاغ هنا

المدونة غير مسئولة عن اى تعليقات فى حالة المسائلة القانونية

(فالتعليقات تعبر عن رأى صاحبها فقط)

برامج مجانية

yahoo messenger google earth internet explorer media player skype yahoo messenger flash player yahoo messenger google chrome