طريقة إضافة Robots.txt و sitemap لبلوجر بالطريقه الصحيحه

ما هو ملف Robots.txt؟

ملف robots.txt هو ملف نصي يتم وضعه في جذر موقع الويب لتوجيه محركات البحث حول كيفية زيارة وفهرسة صفحات الموقع. يستخدم هذا الملف لتوفير تعليمات للروبوتات (الزوار الآليين) التي تزور موقعك بشأن الصفحات التي يمكنها الوصول إليها وتلك التي يجب أن تتجاهلها.

عندما تزور محركات البحث موقعا على الويب، فإنها تبحث عن ملف robots.txt لقراءة التعليمات التي يحتويها. يمكنك استخدام ملف robots.txt لتحديد المسارات التي ترغب في منع محركات البحث من فهرستها، مثل الصفحات الخاصة أو الصفحات التي تحتوي على معلومات حساسة.

على سبيل المثال، إذا كنت ترغب في منع محرك البحث من فهرسة مجلد معين على موقعك، يمكنك إضافة سطر في ملف robots.txt يوجه محركات البحث بعيدا عن ذلك المجلد. قد يكون لديك أيضًا تعليمات أخرى في ملف robots.txt مثل تحديد مجلد خاص بمحرك البحث أو تحديد ملف خريطة الموقع (sitemap) الخاص بك.

يجب ملاحظة أن ملف robots.txt ليس آلية لمنع الوصول الفعلي لصفحات موقعك. إنه فقط يوجه محرك البحث حول كيفية التعامل مع صفحات الموقع. قد يتم تجاهل تعليمات ملف robots.txt من قبل بعض محركات البحث أو الروبوتات الأخرى، لذلك لا يعتبر ضمانًا قاطعا لخصوصية الصفحات أو منعها من الوصول.

ما هو ملف Sitemap

ملف sitemap هو ملف XML يوفر خريطة لمحتوى موقع الويب. يحتوي هذا الملف على قائمة بجميع الصفحات الهامة داخل الموقع وتفاصيل إضافية حول كل صفحة، مثل تاريخ آخر تحديث للصفحة و تكرار التحديثات.

تعمل خريطة sitemap بتسهيل عملية فهرسة موقع الويب من قبل محركات البحث.

عندما تقدم ملف sitemap إلى محرك البحث، يستخدمه لفهرسه جميع الصفحات المدرجة فيه و تحديثها بشكل منتظم. يساعد إرسال ملف sitemap محرك البحث على اكتشاف و فهرسة صفحات الموقع بشكل أسرع و فعال.

علاوة على ذلك، يمكن استخدام ملف sitemap لتوفير معلومات إضافية حول كل صفحة في الموقع، مثل أولوية الفهرسة، و تكرار التحديثات، و الروابط المتعلقة. هذه المعلومات تساعد محركات البحث في تحديد أهمية الصفحات و تنظيم عملية الفهرسة و تصنيف نتائج البحث.

من المهم أن تكون خريطة sitemap دقيقة و محدثة لضمان فهرسة صفحات الموقع بشكل صحيح. يمكن إنشاء ملف sitemap بواسطة أدوات مختلفة، و يوصى بتحديثه بانتظام عند إضافة صفحات جديدة أو تعديل صفحات قائمة في الموقع.

أهمية ملف robots.txt خريطة sitemap.xml وكيفية استخدامهما في مدونتك

ملف robots.txt خريطة sitemap.xml هما اثنان من الملفات المهمة لتحسين أداء مدونتك وظهورها في نتائج محركات البحث. في هذا الموضوع، سنتناول أهمية كل منهما وكيفية استخدامهما في مدونتك على بلوجر.

ما هي أهمية ملف Robots.tx لمدونة بلوجر؟

1. توجيه محركات البحث: يسمح ملف Robots.txt لك بتوجيه محركات البحث بشأن الصفحات التي يمكنها فهرستها والصفحات التي يجب تجنبها. يمكنك تعيين تعليمات لتحديد الصفحات التي يمكن لمحركات البحث الوصول إليها والتي يجب أن تبقى غير مؤرشفة.

2. حماية المحتوى الحساس: إذا كان لديك محتوى حساس أو خاص لا ترغب في أن يتم فهرسته أو عرضه في نتائج البحث، يمكنك استخدام ملف Robots.txt لمنع محركات البحث من الوصول إلى هذا المحتوى.

على سبيل المثال، يمكنك منع فهرسة صفحات الدخول أو صفحات تحتوي على معلومات شخصية حساسة.

3. تحسين أداء الموقع: بالتحكم في الصفحات التي يمكن لمحركات البحث الوصول إليها، يمكنك تقليل الحمولة على الموارد الخاصة بموقعك و تحسين سرعة التحميل. عندما لا تفهرس محركات البحث صفحات غير ضرورية أو غير مرغوب فيها، يمكن توفير موارد الخادم و تحسين تجربة المستخدم.

4. توجيه محركات البحث للمحتوى المهم: عندما تستخدم ملف Robots.txt بشكل صحيح، يمكنك توجيه محركات البحث إلى المحتوى الهام و الصفحات الرئيسية في مدونتك. هذا يساعد في تعزيز رؤية المحتوى الأساسي و زيادة فرصة ظهوره في نتائج البحث.

ملف Robots.txt يعتبر أداة قوية للتحكم في كيفية تفهم محركات البحث موقعك وتصنيف صفحاته. يجب استخدامه بحذر و فهم تأثير التعليمات التي توضع فيه على محركات البحث و ظهور موقعك في نتائج البحث.

ما هي أهمية ملف Sitemap.xml لمدونة بلوجر؟

ملف sitemap.xml لمدونة بلوجر يعتبر أداة مهمة لتحسين تجربة محركات البحث وفهرسة محتوى مدونتك. إليك بعض الأهمية الرئيسية لملف sitemap.xml:

1. تسهيل فهرسة المحتوى: يساعد ملف sitemap.xml محركات البحث مثل محرك البحث جوجل Google و محرك البحث بينغ Bing و محرك البحث ياهو Yahoo و محرك البحث Yandex في فهرسة صفحات مدونتك بشكل أفضل. يقدم الملف قائمة مركزة بجميع الروابط الهامة في موقعك، بما في ذلك المقالات والصفحات و الوصلات الثابتة، مما يوفر لمحركات البحث رؤية شاملة لمحتوى مدونتك.

2. تحسين فهرسة الصفحات الجديدة: عندما تقوم بإنشاء مقال جديد أو تقوم بتحديث صفحة موجودة، يضمن ملف sitemap.xml أن محركات البحث ستكتشف التغييرات بشكل أسرع. سيتم تنبيه محركات البحث بتوفر المحتوى الجديد، وبالتالي يزيد من فرص ظهوره في نتائج البحث بشكل أسرع.

3. تحسين تجربة المستخدم: ملف sitemap.xml يساعد في تحسين تجربة المستخدم عندما يتصفح موقعك. يمكن للزوار استخدام ملف sitemap.xml للعثور على المحتوى الذي يبحثون عنه بسهولة، وذلك من خلال الانتقال إلى الروابط المحددة في الملف.

4. تحسين SEO: من خلال تقديم ملف sitemap.xml، تساعد محركات البحث على تحسين تصنيف مدونتك في نتائج البحث. عندما يتم فهرسة المحتوى بشكل صحيح وسريع، يتم زيادة فرص ظهور مدونتك في نتائج البحث، وبالتالي زيادة حركة المرور إلى موقعك.

5. تحليلات وإحصائيات: يمكن استخدام ملف sitemap.xml لتحليل أداء مدونتك و فهم كيفية استجابة محركات البحث لمحتواك. يمكنك استخدام أدوات التحليل المتاحة لتحديد الصفحات الأكثر شعبية، ومعدلات الزيارة، و الكلمات الرئيسية الأكثر تفضيلا، وغيرها من المعلومات القيمة.

على العموم خريطة sitemap.xml تعتبر أداة مهمة لتحسين تجربة المستخدم و فهرسة موقعك بشكل أفضل من قبل محركات البحث. يساعد في زيادة ظهور مدونتك في نتائج البحث و تحسين حركة المرور إلى موقعك، وبالتالي يعزز جهودك في تحقيق نجاح المدونة الخاصة بك.

إقرا أيضا:

• طريقة إضافة المدونة الى Feedburner (RSS) بالطريقة الصحيحة
• انشاء صفحة من نحن احترافية لمدونة بلوجر
• كيفية إضافة المدونة الى جوجل نيوز بالطريقة الصحيحة
• كيفية إضافة المدونة الى مشرفي المواقع الطريقة الصحيحة
• ربط المدونة ب Google Analytics الطريقة الصحيحة
• كيفية إضافة المدونة الى Yandex Webmasters بالطريقة الصحيحة
• طريقة إضافة المدونة الى محرك البحث Bing و Yahoo الطريقة الصحيحة
• إنشاء صفحة سياسة الخصوصية و الإستخدام لمدونة بلوجر بكل سهولة
• صفحة اتصل بنا جاهزة بلوجر و احترافية

انشاء ملف robots.txt و sitemap.xml لبلوجر بالطريقة الصحيحة.

مراحل إضافة ملف robot.txt و خريطة sitemap لمدونة بلوجر

1- في الأول سوف نتوجه إلى هذا الرابط لاجل توليد ملف Robots.txt الخاص بك: من هنا

أ- ستضهر معك صفحة سيطلب منك ان تقوم بإدخال رابط مدونتك على هذا الشكل https://www.domaine.com او كالآتي https://domain.blogspot.com.

ب- بعد ذلك تختار Blogger ثم تضغط على توليد كود Robots.txt بعد ذلك سيظهر معك الكود و زر النسخ تقوم بنسخه.

2- ستتوجه الى لوحة التحكم على بلوجر بعد ذلك ستهبط أسفل قليلا ستجد الاعدادات قم بالضغط عليها.

3- نهبط أسفل قليلا سنجد برامج البحث و الفهرسة نقوم بتفعيلها لتصبح باللون الأخضر.

4- بعدها مباشرة نقوم بالضغط على ملف Robots.txt مخصص ثم نلصق الكود الذي نسخناه من رابط توليد ملفات robots.txt ثم نضغط على حفظ.

5- بعد ذلك إضغط على تفعيل "علامات رؤوس مخصصة لبرامج الروبوت" حتى يصبح باللون الأخضر.

أ- ثم إضغط "علامات الصفحة الرئيسية" ثم فعل all و noodp ثم حفظ.

ب- ثم نقوم بالضغط على "علامات صفحات الأرشيف والبحث" ثم نفعل noindex و noodp ثم حفظ.

ت- بعد ذلك نضغط على "علامات المشاركات والصفحات" و نقوم بتفعيل all و noodp ثم حفظ.

شرح فيديو تفصيلي لكل خطوات إضافة ملف Robots txt و خريطة sitemap للمدونة: من هنا

شرح مصطلحات و ظائف علامات الرؤوس المخصصة لبرامج الروبوت:

All: معناها السماح بعمل ارشفة و فهرسه كل المحتوى، لا توجد أية قيود مطلقة على الفهرسة.

Noindex: عدم عرض الصفحات بمحركات البحث.

Nofollow: عدم تتبع الروابط سواءا الخارجية أو الداخلية.

None: هو الوضع الافتراضي بالمنع و عدم التتبع.

Noarchive: عدم عرض روابط "النسخ المخبئة" على محركات البحث.

Nosnippet: عدم عرض مقتطفات منسقة للصفحات.

Noodp: عدم عرض اي بيانات من الدليل المفتوح.

Notranslate: عدم تقديم الترجمة للصفحات بمحرك البحث.

Noimageindex: عدم فهرسة الصور للصفحات بنتاج محرك البحث.

unavailable_after: عدم عرض الصفحات بمحركات البحث الا بعد تاريخ محدد يظهر معك مكان تحديدها بمجرد تفعيل او إعطاء الأمر لهذا الخيار.