Como crawlers de IA leem um site

Crawlers de IA têm finalidades diferentes

Alguns crawlers treinam ou indexam, outros buscam conteúdo em tempo real para responder a usuários. GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot e Perplexity-User não devem ser tratados como a mesma coisa.

O que analisar

Verifique status code, TTFB, cache, paths acessados, frequência, idioma, assets bloqueados, /api internos e se os bots conseguem acessar llms, sitemap, FAQ e páginas de serviço.

Política equilibrada

Permita crawlers úteis em páginas públicas e bloqueie rotas internas. robots.txt declara intenção; Nginx, WAF e aplicação precisam executar a regra corretamente.