ما هو ملف robot text ؟
ملف روبوت تيكست او robots txt هو ملف نصي يستخدم هذا الملف في المواقع او مدونات بلوجر للسماح لعناكب البحث بالوصول و الزحف الي عناوين url في موقعك وفهرستها.
عن طريق هذا الملف يمكن لعناكب البحث الوصول الي رابط موقعك والبدء في فهرسه مقالاتك حيث يخبر ملف الروبوت تيكست عناكب البحث بالصفحات المهمة في موقعك للوصول اليها و تسريع ارشفة هذه المقالات.
يقوم ايضا ملف robot txt بإبعاد روبوتات البحث او عناكب البحث من الوصول الي الصفحات الغير مهمه وعدم ارشفتها ومنع ظهورها في محركات البحث.
كيفية إنشاء ملف robot txt
انشاء ملف robots عن طريق txt
إنشاء ملف robot txt ليس بالامر الصعب كل ما عليك فعله لإنشاء ملف الروبوت تكست هو القيام بإنشاء ملف txt من الكمبيوتر او الهاتف ووضع اكواد ملفات robot txt داخل هذا الملف.
كما انه وبدون انشاء ملف robot txt يمكنك تحميل الملف من اخر المقال من خلال رابط تحميل ملف robot txt لوضعه في مدونتك وتسريع ارشفة مقالاتك في جوجل.
بالتاكيد ملف robot txt مهمل للسماح لعناكب البحث بالدخول الي موقع الويب الخاص بك ايضا اضافه ملف Sitemap الي مشرفي مواقع جوجل امر لا غني عنه في ظهور مقالاتك في محركات البحث. حيث سيقوم ملف sitemap و robot txt بزياده سرعه ارشفة مقالاتك في محركات البحث.
انشاء ملف robots txt عبر مولد اكواد ملفات الروبوت
يمكنك انشاء ملف robot txt بكل سهوله عبر اداه موقع sureoak التي تسمح لك بإنشاء ملف robots الصحيح من خلالها.
لأنشاء ملف robots txt من خلال هذه الاداخل ستقوم بنسخ عنوان url الخاص بموقعك ثم ستقوم بالذهاب الي موقع sureoak ووضع عنوان url موقعك في خانه sitemap url سيقوم بتوليد ملف روبوت عبر هذه الاداه ستقوم بنسخ الكود ووضعه في اداه اختبار ملف robots وارسال الملف الي عناكب البحث.
ماذا يوجد في ملف robot txt وما هي محتوياته
يوجد في ملف robot txt بعض الاوامر التي تعطيها لعناكب البحث والتي بدورها تقوم بتنفيذ هذه الاوامر والبدء في ارشفة الصفحات المهمه داخل مدونتك.
هناك الكثير من اكواد robot txt لكن الكود الاهم وهو ما نريد استخدامه كود السماح لمحركات البحث بأرشفة مقالاتك في جوجل. ويكون هذا الكود علي الشكل التالي
User-agent: *
Disallow:
Allow: /
Sitemap: https://professortech0.blogspot.com/sitemap.xml
السطر الاول يخبر عناكب البحث و الروبوتات بتنفيذ الأوامر الموجوده في ملف الروبوت بالاسفل
السطر الثاني يخبر عناكب البحث من عدم وجود ملفات لا نريد ارشفتها في المدونه
السطر الثالث يقوم بأخبار عناكب البحث من ارشفة جميع المقالات داخل الموقع او المدونه
السطر الرابع وهو ما يحتوي علي خريطة الموقع sitemap والتي تخبر عناكب البحث بأرشفة جميع المقالات داخل عنوان url
هل يمكن لملف robot txt منع ارشفة المقالات في محركات البحث؟
يمكن لملف الروبوت تكست منع ارشفة المقالات في محركات البحث بكل تاكيد وهو مالا يريده الجميع . فكل اصحاب المواقع يريدون ارشفة مدوناتهم ومواقعهم في محركات البحث للحصول علي زيارات كبيره من خلال محرك البحث جوجل.
قد يمنع ملف الروبوت تكست google من ارشفة مقالات فحين انك قمت بإستخدام ملف robots خاطئ مما سيمنع محركات البحث من الوصول الي عناوين url الخاصه بمقالاتك داخل مدونتك.
حيث انه انتشر الكثير من اكواد robot txt علي قنوات اليوتيوب وغيرها واغلب هذه الاكواد خاطئه وتمنع الروبوتات من الوصول الي مقالاتك وارشفتها.
لكن الكود الذي قمنا بوضعه في هذه المقاله هو الكود الصحيح الذي يسمح لعناكب البحث من الوصول الي مقالاتك وارشفتها باستخدام ملف robot txt.
كيفية اختبار ملفات الروبوت تكست
يمكنك اختبار و إضافة ملف robots txt عبر استخدام أداة اختبار ملف robots.txt الخاصه بجوجل حيث يمكنك من خلالها اختبار ملف robots txt بكل سهوله.
كما يمكنك من خلال هذه الأداه التاكد من ان ملف robot txt الذي تقوم بأستخدامه صحيح وخالي من الاخطاء ام يحتوي علي بعض الاخطاء التي يجب اصلاحها
كما يمكنك إرسالة ملف robots txt الي عناكب البحث للبدء في تنفيذ اوامر هذا الملف والبدء في ارشفة مقالات مدونة بلوجر الخاصه بك في محرك البحث جوجل.
تعليقات
إرسال تعليق