بسم الله الرحمن الرحيم

ملف Robots.txt

عناكب محركات البحث تقوم في العادة بالبحث عن ملف خاص في موقعك يدعى robots.txt و هو عبارة عن ملف نصي عادي بامتداد .txt يمكنك تحريره بأي محرر نصي مثل notepad .. و هذا الملف يمكننا تشبيهه بباب الموقع بالنسبة لعناكب محركات البحث spiders ..

تخيل أنه لديك معرض و سيأتيك الزوار. يمكنك ان تضع حارسا في الباب يسمح بدخول الجميع أو البعض و يقوم بتوجيههم لزيارة كامل المعرض أو غرفة معينة .. هذه نفس الحالة بالنسبة لملف robots.txt فهو يقوم بتوجيه عناكب البحث إلى أماكن معينة و يتحكم فيها و سنستعرض في هذا الموضوع هذه الأشياء.

في البداية يجب أن ترفع ملف robots.txt في المجلد الرئيسي للموقع root أو www أو home أو public_html كل حسب سيرفره و يمكنكم معاينة ملف robots الخاص بموقع عرب لاند:
[فقط الأعضاء المسجلين والمفعلين يمكنهم رؤية الوصلات . إضغط هنا للتسجيل]

الآن قم بفتح ملف نصي جديد باستعمال notepad و قم بتسميته robots.txt و اختر الكود الذي يناسبك :

User-agent: *
Disallow:

User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /sql/

User-agent: XBot
Disallow: /

User-agent: XBot
Disallow: / User-agent: * Disallow: /private/

User-agent: *  Disallow /

User-agent: * 
Disallow: *

User-agent: * Disallow: /tmp/ User-agent: Xbot Disallow: /links/listing.html Disallow: /tmp/