كيفية إضافة ملف robots.txt لمدوقعي
مرحبا بك أخي متصفح موقع tech-money، حيث سأشرح لك طريقة تحميل ملف robots.txt مناسب و إضافته لموقعك.
أولا : ملف روبوت تيكس يعد أحد أهم الملفات التي يجب أن تكون في موقعك أو مدونتك، وذلك لأهميتها الكبيرة في مساعدة محركات البحث لارشفة مواضيعك بسرعة، و أيضا عدم أرشفة المواضيع التي لا تريد أرشفتها مثل : الصفحات، الاقسام...
كيف نمنع أي رابط من الارشفة و الظهور في محركات البحث،
الكثير من أصحاب المواقع تصادفهم مشكلة تكرار الروابط والمواضيع أو الصفحات في محركات البحث
ويحتاجون لمنع هذه الروابط من الفهرسة، حيث أنها تسبب تكرار في المحتوى و لا يحصلون على أرشفة سريعة لمدوناتهم. وبالتالي يقلل ذلك من فرصة ظهور موقعهم في محركات البحث،
نجد العديد من أصحاب المدونات يبحثونا عن أفضل ملف robots.txt روبوت يمكن وضعه في موقعهم على الويب.
إذن ملف روبوت تكس عبارة عن ملف يقوم بعمليتين أساسيتان في المواقع و هي المنع و السماح لاحد الروابط من الظهور لمحركات البحث، وذلك من أجل أرشفتها.
إذا كيف أقوم بمنع ما أريد واسمح لما أريد ؟
هنا سنضع الحل بشكل بسيط جدا، بحيث يستطيع أي شخص حتى لو كان مبتدى أن يمنع أو يسمح
للروابط بالفهرسة بكل بساطة و سهولة
أولا ملف الروبوت افتراضيا يكون بالشكل التالي :
___________________________________________
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://exmple.com/sitemap.xml
____________________________________________
قبل أن نبدأ بشرح كيفية نمنع أو نسمح سوف نشرح معاني الكلمات الموجودة في ملف الروبوت حتى
يكون الشرح مفهوم بشكل جيد
شرح الملف
1 : User-agent: Mediapartners-Google
تعني أن هذا يتم من خلال توكيل الاستخدام لبرنامج جوجل بعمل ما يلي تكون ثابتة و لا تحتاج إلى تغير
2 : Disallow
وهي تعني عدم السماح للفهرسة أيضا ثابتة لا تحتاج تغير
3 : User-agent
تعني استخدام الخاصية كا وكيل عنك وهي أيضا تكون ثابتة في ملف الروبوت.
4 : Allow: /
وهي تعني السماح بالفهرسة أيضا ثابتة ولا تحتاج تغير.
5 : Disallow: /search
حيث هنا قمنا بمنع روابط البحث search.
6 : Sitemap: https://exmple.com/sitemap.xml
هي الخريطة التي تحتوي على روابط المواضيع لموقعك حيث أن exmple.com هو رابط موقعك
تعرفنا الان على محتوى ملف robots.txt و مكوناته،
ولان نتوجه لكيفية سماح أو منع أي رابط لا نريد أن تتم فهرسته من طرف محركات البحث، حيث تقوم أحيانا محركات البحث بفهرسة الأقسام، وأيضا فهرسة المواضيع مرتين، و هذا ما ينعكس سلبيا على مدونتك، حيث يقوم بفهرسة مواضيع لا حاجة لنا بفهرستها و ترك مواضيع مهمة يجب فهرستها،
مثال : على فهرسة موضوع مرتين
http://www.moda-arba7.com/2020/05/blog-post_74.html
http://www.moda-arba7.com/2020/05/blog-post_74.html?m=0
نلاحظ أن الرابطين أعلاه نفسهما الفرق الوحيد هو أن الرابط الأصلي ينتهي بي html. في حين أن الرابط المكرر زاد عن الاول بي m=0؟، هذه هي المشكلة لكن الحل بسيط و سهل فقط تابع معي الشرح،
نقوم بأخذ نهاية الرابط الزائدة
?m=0
ونضعها في ملف الروبوت بعد خاصية المنع Disallow
Disallow: /*?m=0 هكذا
حيث ( / ) تعني : التالي
النجمة ( * ) تعني : كل الروابط التي لها نفس النهاية
ملحوظة : قد تجد روابط تنتهي بي m=1؟
لا تقوم بمنعها لان هذه الروابط خاصة بالتصفح الهاتف فقط
أين يتم وضع العلامات داخل ملف robots.txt ?
توضع العلامات كما هو في الشكل التالي تحت كلمة User-agent:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /*?m=0
Disallow: /search
Allow: /
Sitemap: https://moda-arba7.com/sitemap.xml
لان لن يتم فهرسة الروابط التي لها نهاية بي m=0؟
هكذا دوالي حتى ننتهي من جميع الروابط التي نجدها مكررة أو مشكوك فيها.
الطريقة الثانية،
و هي عن كيفية منع الأقسام من الفهرسة أو الأرشيف أو التعليقات؟
Disallow: /search
هذه الاداة تعني منع ظهور أو تكرار روابط الأقسام أو الأرشيف والتعليقات،
وتعني أيضا منع كل روابط البحث في الموقع بما فيها الأقسام والأرشيف والتعليقات،
لكن قد تطرح سؤال عن ماذا لو ظهرت الأقسام حتى عند وجود تعليمة البحث ؟
في هذه الحالة نقوم بإضافة رابط الأقسام بعد تعليمة المنع
كيف يتم ذالك؟
أنقر على أي قسم من الأقسام الموجودة في موقعك
وشاهد رابط هذا القسم في خانة التي توجد بالاعلى كما هو موضح في الصورة أسفله ستجد انه بعد رابط موقعك تأتي كلمة "Label"
بعدها يأتي إسم القسم سوى بالغة العربية أو الاجنبية على الشكل التالي مثلا.
https://www.exmple.com/search/label/تطبيقات
ولكي نمنع ظهور هذه الكلمة "label" نضعها بعد تعليمة المنع كتالي Disallow، حيث تصبح بهذا الشكل
Disallow: / label
سوف تلاحظ أننا لم نستعمل في هذه الحالة علامة النجمة ( * ) لماذا ؟
لان رابط الأقسام عام ويمكن أن تتصل به مجموعة من الروابط، مثلا : برامج، بلوجر، سيو، ادسنس...
لذلك سيتم منع جميع الأقسام لأن كل الأقسام تبدأ بي label.
بعد أن نقوم بمنع رابط الأقسام سيصبح ملف الروبوت بالشكل التالي.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: / label
Allow: /
Sitemap: https://exmple.com/sitemap.xml
الان تستطيع مراقبة روابط موقعك مشاهدة كيف تعمل وتقوم بكل ما يلزمك، و أمل أن يكون هذا الدرس مفهوم وواضح بشكل سلس وأن تكون الفكرة قد وصلت إلى غايتها.
في حالة واجهت مشكلة لا تتردد في ترك تعليق لنا وسنحاول مساعدتك إن شاء الله.
تعليقات
إرسال تعليق