كيفية انشاء ملف Robots.txt في مواقع WordPress لتحسين الموقع في محركات البحث
يعتبر ملف روبوت txt أحد الأدوات الهامة لتحسين ترتيب الموقع في مواقع البحث والتي ينصح بها محرك البحث الأشهر في العالم “جوجل” حيث يخبر ملف robots.txt موقع البحث بآلية الزحف إلى موقع الويب ، مما يجعله أداة تحسين قوية جدا في عالم الـ SEO حيث يحسن ترتيب موقعك مع مرور الوقت ويزيد من أرشفة الصفحات والمقالات الهامة في الموقع بسبب زيادة كفاءة عناكب محركات البحث فيه.
للأسف يهمل الكثير من أصحاب المواقع ملف روبوت txt، وهذه عادة سيئة جدا وتؤثر على ترتيب الموقع في جوجل وغيره من مواقع البحث ، ما دفعنا لوضع هذه الدليل الإرشادي لكيفية صياغة هذا الملف و وضعه على الموقع، وقد قمنا بكتابة الدليل على مواقع وردبريس بسبب انتشارها الكبير لكن يمكن إتباع نفس الإرشادات تقريبا على باقي المواقع مع القيام بتعديلات بسيطة.
ما هو ملف Robots.txt؟
ملف Robots.txt ملف نصي عادي يتم انشاءه بصيغة تي اكس تي من قبل صاحب الموقع الالكتروني، يقوم بإرشاد روبوت محرك البحث (bot) كيفية الزحف إلى صفحات الموقع وطريقة فهرستها.
حتى لو لم يحتوي الموقع الالكتروني على ملف robots.txt ستظل محركات البحث تزحف إليه وتؤرشف صفحاته، ومع ذلك لن تتمكن من إخبارها بالصفحات أو المجلدات التي لا ينبغي لها زحفها ما يقلل من كفاءة عناكب البحث اتجاه هذا الموقع، خاصة إن كان الموقع كبير ويحتوي العديد من الصفحات والمقالات كما هو حال أغلب مواقع وردبريس.
إذا فأهمية هذا الملف تكمن من انه يتيح لمحرك البحث التحكم بشكل أفضل في كيفية الزحف الى الموقع الذي يحويه ويجعل فهرسة الصفحات المفيدة أمر أسهل.
أهمية إنشاء ملف روبوت تي اكس تي
تمتلك مواقع البحث الإلكتروني مثل جوجل وغيرها روبوتات تقوم بأرشفة صفحات الموقع ، حيث يقوم محرك البحث بإرسال مجموعة من هذا البوتات لتقوم باستكشاف موقعك وما الجديد فيه من مقالات، المهم لنا بالنسبة لهذا الإجراء أن عدد هذه البوتات التي يرسلها محرك البحث محدودة أي أن لكل موقع حصة معينة منها تعرف باسم حصة زحف البوت لكل موقع الكتروني.
ففي كل جلسة زحف يوفرها محرك البحث يرسل مجموعة محدودة من هذه الروبوتات، إذا استنفدت في موقعك بحسب عدد الصفحات هذه البوتات قبل الانتهاء من الزحف على جميع الصفحات على الموقع، فستعود وتستأنف الزحف في الجلسة التالية، هذا مايمكن أن يؤدي إلى إبطاء معدل فهرسة الموقع الإلكتروني.
يمكنك إصلاح هذا الأمر عن طريق منع بوتات محرك البحث من استكشاف بعض الصفحات التي لا يتوجب أرشفتها في الموقع والغير الضرورية مثل في مواقع ووردبريس صفحات الإدارة وملفات المكونات الإضافية ومجلد السمات وغيرها من ما سنوضح لاحقا.
فمن خلال منع الصفحات غير الضرورية، يمكنك توفير حصة الزحف الخاصة للموقع ما يساعد محركات البحث على الزحف إلى المزيد من الصفحات المطلوبة وفهرستها في أسرع وقت ممكن.
أيضا في بعض الأحيان قد ترغب كصاحب موقع من منع أرشفة مقالة أو صفحة على الموقع وهنا يأتي دور ملف روبوتس txt في منع ظهور المحتوى الغير مرغوب بنشره في نتائج البحث، مع ملاحظة أن هذا الملف لا يعتبر آلية لإخفاء صفحة ويب عن ، إنما لفعل ذلك يجب حظر الفهرسة باستخدام noindex أو حماية الصفحة بكلمة مرور.
الشكل الأساسي لصياغة robots txt
يتم وضع هذا الملف عادةً في الدليل الجذر للموقع أو المجلد الرئيسي (public_html)، يبدو التنسيق الأساسي لملف robots.txt على النحو التالي:
User-agent: [الاسم]
Disallow: [العناوين التي لا ينبغي فهرستها]
User-agent: [الاسم]
Allow: [العناوين التي ينبغي فهرستها]
Sitemap: [عنوان خريطة الموقع]
كما رأينا يمكنك تتم كتابة الملف من أسطر متعددة من التعليمات تسمح بأرشفة عناوين معينة (Allow) وتمنع أخرى (Disallow)، كما يتم اختياريا إضافة خرائط الموقع (sitemap) إليه.
إذا لم تمنع عناوين معين في سطر Disallow وهو أهم سطر في هذا الملف، ستقوم محركات البحث بالزحف إليها افتراضيا، ما يزيد العبء عليها كما فسرنا ذلك سابق.
مثال على ملف robots.txt لموقع منجز عبر منصة wordpress:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xmlفي المثال بالأعلى سمحنا لمحركات البحث بالزحف وفهرسة الملفات الموجودة في مجلد التحميلات (uploads) والتي تكون بمعظمها الصور المرفوعة للموقع، وفي السطر التالي منعنا روبوتات البحث من الزحف وفهرسة الإضافات (plugins) ومجلدات الإدارة الخاصة بموقع ووردبريس، ثم وضعنا العنوان الخاص بملف خريطة الموقع (Sitemap.xml).
الشكل المثالي لملف robots.txt في مواقع وردبريس
الشكل الأبسط والأشهر لملف روبوتس تي اكس تي والذي يتم استخدامه عادة بأغلب مدونات ومواقع ووردبريس هو التالي:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlهنا يتيح ملف robots.txt لجميع الروبوتات فهرسة كامل محتوى الموقع ولا يمنع فهرسة أي عنوان فنجد لا شيء مكتوب بجانب كلمة “Disallow” ، وفي آخر سطرين يوفر الملف رابطًا إلى عنوان ملف sitemap.xml.
وبعد ذلك نقدم الطريقة الموصى بها لإنشاء ملف robots.txt جاهز:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xmlيخبر الملف أعلاه بوتات محرك البحث مثل جوجل وغيره بفهرسة جميع صور وملفات موقع ووردبريس، ويمنع البوتات من البحث من فهرسة ملفات الإدارة، وملف readme ، وروابط الشركات التابعة المخفية إن وجدت.
من خلال إضافة خرائط المواقع إلى ملف robots.txt، يمكنك تسهيل العثور على جميع صفحات الموقع من قبل روبوتات جوجل وغيره من محركات البحث الشهيرة.
كيفية إنشاء ملف Robots.txt في موقع وردبريس:
هناك طريقتان لإنشاء ملف robots.txt في مواقع WordPress هما:
- عن طريقة إضافات ووردبريس (plugins) مثل إضافة All in One SEO.
- إنشاء الملف وكتابته يدويا بالصيغة الموضوعة أعلاه ورفعه على المجلد الرئيسي للموقع (public_html) بواسطة لوحة التحكم cpanel او برامج ftp .
الخلاصة :
إذا نرى أن ملف robots.txt هو أداة قوية لتحسين محركات البحث للموقع الالكتروني (SEO)، ولكن يجب التعامل معه بحذر، فهو يسمح لك بمنع محركات البحث من الوصول إلى الصفحات والملفات والمجلدات ولكن غالبًاما يعتبر من أفضل الأدوات لتحسين موقعك وزيادة ترتيبه في محركات البحث بشكل غير مباشر.
