Robots.txt — ما الذي يتحكم به وكيف تضبطه بشكل صحيح
Robots.txt ملف نصي يُخبر الزواحف بالصفحات التي يجب وتلك التي لا يجب زيارتها. سطر خاطئ واحد قد يحجب موقعك بالكامل عن جوجل. أعدّه بشكل صحيح وستحمي ميزانية الزحف وتوجّه جوجل نحو محتواك المهم.
إجابة مباشرة
robots.txt ملف نصي يتحكم في الصفحات التي يزحف عليها جوجل — توجيه disallow خاطئ واحد يمكن أن يحجب أهم صفحاتك عن نتائج البحث بصمت، وهو خطأ نكتشفه ونصلحه في كل تدقيق تقني نجريه.
خبرة وكالة SEO عمان
نراجع robots.txt في كل تدقيق لمواقع عملائنا — هو أول ما نفحصه لأن توجيهاً واحداً خاطئاً يمكن أن يحجب جوجل عن أهم صفحاتك، وقد رأينا هذا الخطأ يُكلّف عملاء أشهراً من الحضور بلا إعلانات الضائع.
ما هو Robots.txt؟
Robots.txt ملف نصي على yourdomain.com/robots.txt يستخدم قواعد allow/disallow بسيطة لتوجيه زواحف محركات البحث. تمييز مهم: robots.txt يتحكم في الزحف لا الفهرسة. الصفحة المحجوبة لن يزورها جوجل — لكن إن ربط بها مواقع أخرى قد يعلم جوجل بوجودها ويُدرجها في النتائج بدون محتوى. للإزالة الكاملة تحتاج disallow وtag noindex معاً. لمعظم المواقع التجارية، robots.txt يحمي لوحات الإدارة وعناوين URL المكررة ونتائج البحث الداخلية من هدر ميزانية الزحف.
لماذا يهم Robots.txt لميزانية زحف موقعك؟
- ميزانية الزحف محدودة — توجيه الزواحف بعيداً عن الصفحات منخفضة القيمة يعني وقتاً أكثر على محتواك المهم
- حجب لوحات الإدارة وصفحات تسجيل الدخول يمنع هدر وقت الزحف
- حجب CSS وJavaScript بالخطأ يمنع جوجل من عرض صفحاتك — حرج لمواقع React وVite
- توجيه الخريطة في robots.txt يضمن اكتشاف كل الزواحف لها تلقائياً
- حجب عناوين URL ذات البارامترات المكررة يمنع زحف المحتوى الرقيق
كيف نضبط Robots.txt للعملاء
اختبار الملف الحالي مقابل الصفحات المهمة
نستخدم أداة اختبار robots.txt في GSC للتحقق من إمكانية الوصول لصفحاتك الرئيسية وملفات CSS وJS. كثيراً ما نجد مواقع تحجب مسارات خاطئة.
كتابة قواعد allow/disallow بشكل صحيح
نحمي مسارات الإدارة وتسجيل الدخول، ونحجب صفحات البحث الداخلي والسلة، ونضمن عدم حجب مناطق المحتوى الرئيسية.
إضافة مرجع خريطة الموقع
كل robots.txt يجب أن ينتهي بـ 'Sitemap: https://yourdomain.com/sitemap.xml' لكي تجدها جميع الزواحف تلقائياً.
التحقق بأداة فحص URL في GSC
بعد التحديث نؤكد إمكانية زحف الصفحات الرئيسية وعرضها كاملاً بما في ذلك CSS وJavaScript.
أخطاء Robots.txt التي تُكلّف ترتيباً
الأسئلة الشائعة
هل يساعد أم يُضر robots.txt بسيو موقعك؟
سطر خاطئ واحد قد يُزيل موقعك من جوجل. نُدقق ونُصلح robots.txt ضمن كل عمل SEO تقني.
احصل على تدقيق SEO تقني مجاني