Os rastreadores de IA são responsáveis por 28% do tráfego do Googlebot, conclui estudo
Um relatório divulgado por Vercel destaca o impacto crescente dos bots de IA no rastreamento da web.
O GPTBot da OpenAI e Claude da Anthropic geram quase 1 bilhão de solicitações mensais em toda a rede da Vercel.
Os dados indicam que o GPTBot fez 569 milhões de solicitações no último mês, enquanto Claude foi responsável por 370 milhões.
Além disso, o PerplexityBot contribuiu com 24,4 milhões de buscas e o AppleBot adicionou 314 milhões de solicitações.
Juntos, esses rastreadores de IA representam aproximadamente 28% do volume total do Googlebot, que é de 4,5 bilhões de buscas.
Aqui está o que isso pode significar para o SEO.
Principais descobertas sobre rastreadores de IA
A análise analisou os padrões de tráfego na rede da Vercel e em diversas arquiteturas web. Ele encontrou alguns recursos principais dos rastreadores de IA:
- Os principais rastreadores de IA não renderizam JavaScript, embora extraiam arquivos JavaScript.
- Os rastreadores de IA costumam ser ineficientes, com ChatGPT e Claude gastando mais 34% de seus pedidos em 404 páginas.
- O tipo de conteúdo em que esses rastreadores se concentram varia. ChatGPT prioriza HTML (57,7%), enquanto Claude se concentra mais em imagens (35,17%).
Distribuição Geográfica
Ao contrário dos motores de busca tradicionais que operam em múltiplas regiões, os rastreadores de IA mantêm atualmente uma presença concentrada nos EUA:
- ChatGPT opera em Des Moines (Iowa) e Phoenix (Arizona)
- Claude opera em Columbus (Ohio)
Correlação do Almanaque da Web
Essas descobertas estão alinhadas com os dados compartilhados no SEO do Web Almanac capítuloque também observa a presença crescente de rastreadores de IA.
De acordo com o relatório, os sites agora usam arquivos robots.txt para definir regras para bots de IA, informando-lhes o que podem ou não rastrear.
GPTBot é o bot mais mencionado, aparecendo em 2,7% dos sites móveis estudados. O bot Common Crawl, frequentemente usado para coletar dados de treinamento para modelos de linguagem, também é frequentemente observado.
Ambos os relatórios enfatizam que os proprietários de sites precisam se ajustar ao comportamento dos rastreadores de IA.
3 maneiras de otimizar para rastreadores de IA
Com base em dados recentes do Vercel e do Web Almanac, aqui estão três maneiras de otimizar para rastreadores de IA.
1. Renderização no lado do servidor
Os rastreadores de IA não executam JavaScript. Isso significa que qualquer conteúdo que dependa da renderização do lado do cliente pode ficar invisível.
Ações recomendadas:
- Implementar renderização no servidor para conteúdo crítico
- Certifique-se de que o conteúdo principal, meta informações e estruturas de navegação estejam presentes no HTML inicial
- Use geração de site estático ou regeneração estática incremental sempre que possível
2. Estrutura e entrega de conteúdo
Os dados da Vercel mostram preferências distintas de tipo de conteúdo entre rastreadores de IA:
Bate-papoGPT:
- Prioriza conteúdo HTML (57,70%)
- Gasta 11,50% das buscas em arquivos JavaScript
Cláudio:
- Concentra-se fortemente em imagens (35,17%)
- Dedica 23,84% das buscas a arquivos JavaScript
Recomendações de otimização:
- Estruture o conteúdo HTML de forma clara e semântica
- Otimize a entrega de imagens e metadados
- Incluir texto alternativo descritivo para imagens
- Implementar hierarquia de cabeçalho adequada
3. Considerações Técnicas
As altas taxas 404 dos rastreadores de IA significam que você precisa manter estas considerações técnicas em mente:
- Mantenha mapas de sites atualizados
- Implementar cadeias de redirecionamento adequadas
- Use padrões de URL consistentes
- Auditoria regular de erros 404
Olhando para o futuro
Para os profissionais de marketing de busca, a mensagem é clara: os chatbots de IA são uma nova força no rastreamento da web e os sites precisam adaptar seu SEO de acordo.
Embora os bots de IA possam contar agora com informações armazenadas em cache ou desatualizadas, sua capacidade de analisar novos conteúdos de toda a web aumentará.
Você pode ajudar a garantir que seu conteúdo seja rastreado e indexado com renderização no servidor, estruturas de URL limpas e mapas de sites atualizados.
Imagem em destaque: tete_escape/Shutterstock
