مولّد robots.txt و llms.txt للذكاء الاصطناعي
حدد مساعدي الذكاء الاصطناعي المسموح لهم بقراءة موقعك، ثم انسخ ملف robots.txt نظيفًا. وابنِ ملف llms.txt يوجّه أدوات الذكاء الاصطناعي إلى أهم صفحاتك.
إجابة مباشرة
ملف robots.txt يخبر كل زاحف بما يحق له قراءته. روبوتات بحث الذكاء الاصطناعي (OAI-SearchBot و PerplexityBot و Claude-SearchBot) تحدد إن كان يمكن الاستشهاد بك في إجابات الذكاء الاصطناعي، وروبوتات التدريب (GPTBot و Google-Extended و ClaudeBot و CCBot) تحدد إن كان محتواك يُستخدم لتدريب النماذج. يمكنك السماح لمجموعة وحجب الأخرى.
اختياراتك
ملفك robots.txt
التحميل غير متاح في هذه المعاينة. انسخ النص إلى ملف.
أسئلة شائعة
ما الفرق بين GPTBot و OAI-SearchBot؟
+
كلاهما من OpenAI. يزحف OAI-SearchBot إلى الصفحات ليستشهد بها بحث ChatGPT ويضع روابطها، أما GPTBot فيجمع محتوى قد يُستخدم لتدريب النماذج. يمكنك السماح للأول وحجب الثاني.
هل حجب Google-Extended يُخرجني من جوجل؟
+
لا. Google-Extended يتحكم فقط في استخدام محتواك لنماذج جوجل للذكاء الاصطناعي. أما Googlebot الذي يرتّبك في البحث وفي ملخصات الذكاء الاصطناعي فمنفصل عنه.
ما هو llms.txt؟
+
ملف نصي بسيط على yoursite.com/llms.txt يسرد أهم صفحاتك مع ملاحظات قصيرة، لتجد أدوات الذكاء الاصطناعي أنفع محتواك بسرعة. هو جديد واختياري، وإضافته لا تكلّف شيئًا.
أين أضع هذين الملفين؟
+
في جذر نطاقك: yoursite.com/robots.txt و yoursite.com/llms.txt.
أدوات أخرى
تريد خبيرًا يُصلح ذلك لك؟
أرسل عنوان موقعك. نراجعه مجانًا ونخبرك بما يجب إصلاحه أولًا.