O que é o crawl (rastreamento)?
O crawl, ou rastreamento, é o processo em que robôs como o Googlebot percorrem a web seguindo ligações e sitemaps para descobrir páginas novas e atualizadas. Uma página que não é rastreada não pode ser indexada nem aparecer nos resultados.
O crawl é a primeira fase da pesquisa: robôs automáticos visitam páginas, leem o conteúdo e seguem as ligações para encontrar outras. Os motores de IA têm os seus próprios robôs, como o OAI-SearchBot ou o PerplexityBot.
O que impede um site de ser rastreado?
| Causa | Efeito | Como verificar |
|---|---|---|
| Bloqueio no robots.txt | O robô não lê a página | Teste do robots.txt e o verificador para IA |
| Página sem ligações internas | O robô não a encontra | Rastreio com Screaming Frog |
| Servidor lento ou com erros | O robô reduz as visitas | Estatísticas de rastreio no Search Console |
| Milhares de URLs sem valor | Rastreio desperdiçado em filtros e parâmetros | Relatório de páginas no Search Console |
| Firewall a bloquear robôs | Respostas 403 aos robôs | Registos do servidor |
Termos e páginas relacionadas
- Indexação: a fase seguinte ao rastreio
- llms.txt
- Auditoria SEO técnica
Perguntas frequentes
O que é o orçamento de rastreio?
É a quantidade de páginas que o Google está disposto a rastrear num site num dado período. Só costuma ser um problema em sites grandes ou com muitos URLs gerados por filtros.
Os robôs de IA rastreiam como o Google?
Parecido, mas cada empresa tem os seus robôs e regras. Podem ser permitidos ou bloqueados separadamente no robots.txt.
Voltar ao glossário de SEO, GEO e IA.
