robots.txt يعلن السياسة ولا يفتح الطريق وحده
يمكنك السماح لـ GPTBot أو OAI-SearchBot أو PerplexityBot في robots.txt، لكن إذا كان Nginx أو WAF يمنع User-Agent أو IP فلن تصل البوتات إلى الصفحة. لذلك يجب مطابقة السياسة مع البنية التحتية.
llms.txt يرشد النماذج إلى المصادر الرسمية
ملف llms.txt يساعد أدوات AI على العثور على الصفحات والموارد الموثوقة: الخدمات، FAQ، الحالات، authority facts، وحدود الاستخدام. لكنه لا يستبدل sitemap أو schema أو صفحات عامة جيدة.
ما يجب مراقبته
راقب status code وTTFB والكاش والمسارات الداخلية المحظورة وزيارات user-fetch. الوصول إلى /api أو لوحة الإدارة يجب أن يبقى محظورا، بينما الصفحات العامة وملفات AI يجب أن تكون قابلة للقراءة.