كيف تنشئ ملف Robots.txt

Summary: ملف robots.txt يخبر محركات البحث بالمناطق التي يمكنها وغير التي لا يمكنها زحفها في موقعك. ورغم أنه لا يحسّن الترتيب مباشرةً، فإن ملف robots.txt المضبوط

نظرة عامة

ملف robots.txt يخبر محركات البحث بالمناطق التي يمكنها وغير التي لا يمكنها زحفها في موقعك. ورغم أنه لا يحسّن الترتيب مباشرةً، فإن ملف robots.txt المضبوط جيدًا يساعد محركات البحث على فهم بنية موقعك وتجنب زحف صفحات غير ضرورية.

ينبغي لمعظم المواقع أن تمتلك ملف robots.txt، خاصة إذا أردت تزويد محركات البحث بـموقع خريطة موقعك أو تقييد الوصول إلى أقسام معينة من موقعك.

ما هو Robots.txt؟

ملف robots.txt هو ملف نصي عادي يوجد في الدليل الجذر لموقعك.

مثال:

https://yourdomain.com/robots.txt

عندما يزور محرك بحث موقعك، يكون robots.txt من أوائل الملفات التي يفحصها. وتساعد التعليمات داخل الملف في توجيه زواحف محركات البحث مثل Googlebot وBingbot.

مثال أساسي على Robots.txt

تسمح الإعدادات التالية لمحركات البحث بزحف موقعك بالكامل وتحدد موقع خريطة الموقع:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/sitemap.xml

بالنسبة للمواقع التي تستخدم خرائط مواقع ووردبريس الديناميكية، يمكنك استخدام:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/?sitemap=1

كيف تنشئ ملف Robots.txt

الخيار 1: الإنشاء يدويًا

1. افتح محرر نصوص مثل Notepad أو VS Code.
2. أنشئ ملفًا جديدًا باسم:

robots.txt

3. أضف القواعد التي تريدها.
4. احفظ الملف.
5. ارفعه إلى الدليل الجذر لموقعك (public_html).

يجب أن يكون ملفك متاحًا على:

https://yourdomain.com/robots.txt

الخيار 2: الإنشاء عبر إضافات SEO في ووردبريس

تنشئ كثير من إضافات SEO ملف robots.txt افتراضيًا بشكل تلقائي.

من الخيارات الشائعة:

• Rank Math
• Yoast SEO
• All in One SEO

بعد إنشاء الملف أو تعديله، زر:

https://yourdomain.com/robots.txt

للتحقق من التغييرات.

قواعد Robots.txt الشائعة

السماح بكل شيء

User-agent: *
Allow: /

هذا هو الإعداد الأكثر شيوعًا للمواقع العامة.

حجب دليل معين

User-agent: *
Disallow: /private/

ستتجنب محركات البحث زحف الروابط داخل المجلد private.

حجب ملف معين

User-agent: *
Disallow: /example-page.html

إضافة خريطة موقع

Sitemap: https://yourdomain.com/?sitemap=1

تساعد إضافة خريطة الموقع محركات البحث على اكتشاف محتواك بكفاءة أكبر.

ملاحظات مهمة

Robots.txt لا يخفي المحتوى

يعتقد كثير من أصحاب المواقع خطأً أن robots.txt يحمي المعلومات الحساسة.

وهذا غير صحيح.

يوفر robots.txt تعليمات الزحف فقط. أما المحتوى المحمي فيجب أن يستخدم المصادقة والصلاحيات المناسبة أو توجيهات noindex حيثما كان ذلك مناسبًا.

لا تحجب الصفحات المهمة

تجنب حجب:

• الصفحة الرئيسية
• مقالات المدونة
• صفحات المنتجات
• التصنيفات
• موارد الموقع الأساسية

قد يمنع حجب المحتوى المهم محركات البحث من فهرسة موقعك بشكل صحيح.

احذر من هذه القاعدة

User-agent: *
Disallow: /

تحجب هذه القاعدة الموقع بالكامل عن محركات البحث وقد تزيل الصفحات من نتائج البحث إذا تُركت.

كيف تختبر ملف Robots.txt

بعد إنشاء ملف robots.txt:

1. زر:

https://yourdomain.com/robots.txt

2. تأكد من أن الملف يُحمَّل بشكل صحيح.
3. افحص وجود أخطاء في التنسيق.
4. تأكد من أن رابط خريطة موقعك مُدرج بشكل صحيح.

يمكنك أيضًا مراجعة توثيق robots.txt من Google للحصول على إرشادات إضافية.

ملف Robots.txt الموصى به لمعظم المواقع

تعمل الإعدادات التالية جيدًا مع معظم مواقع ووردبريس:

User-agent: *
Allow: /

Sitemap: https://yourdomain.com/?sitemap=1

استبدل رابط خريطة الموقع بالموقع الصحيح لخريطة موقعك.

الأسئلة الشائعة

هل أحتاج إلى ملف robots.txt؟

لا، لكن يُنصح بامتلاكه لأنه يساعد محركات البحث على فهم موقعك وتحديد موقع خريطة الموقع.

هل يمكن لـ robots.txt تحسين SEO؟

ليس بشكل مباشر. لكنه يساعد محركات البحث على زحف موقعك بكفاءة أكبر ويمكنه منع زحف صفحات غير ضرورية.

أين يجب وضع ملف robots.txt؟

يجب وضع الملف في الدليل الجذر لموقعك، عادةً داخل مجلد public_html.

هل يمكن لـ robots.txt منع ظهور الصفحات في Google؟

ليس دائمًا. لمنع الفهرسة، استخدم توجيهات noindex المناسبة بدلًا من الاعتماد على robots.txt وحده.

تحتاج إلى مساعدة؟

إذا كنت بحاجة إلى مساعدة في إنشاء ملف robots.txt أو استكشاف مشكلاته، فتواصل مع فريق دعم VeerHost وسنكون سعداء بمساعدتك.