Cuidado com o tráfego falso do Googlebot
O defensor do desenvolvedor do Google, Martin Splitt, alerta os proprietários de sites para serem cautelosos com o tráfego que parece vir do Googlebot. Muitas solicitações que fingem ser do Googlebot são, na verdade, de scrapers de terceiros.
Ele compartilhou isso no último episódio da série SEO Made Easy do Google, enfatizando que “nem todo mundo que afirma ser Googlebot na verdade é Googlebot”.
Por que isso importa?
Rastreadores falsos podem distorcer análises, consumir recursos e dificultar a avaliação precisa do desempenho do seu site.
Veja como distinguir entre tráfego legítimo do Googlebot e atividades falsas de rastreadores.
Métodos de verificação do Googlebot
Você pode distinguir o tráfego real do Googlebot dos rastreadores falsos observando os padrões gerais de tráfego, em vez de solicitações incomuns.
O tráfego real do Googlebot tende a ter frequência, tempo e comportamento de solicitação consistentes.
Se você suspeitar de atividade falsa do Googlebot, Splitt recomenda usar as seguintes ferramentas do Google para verificá-la:
Ferramenta de inspeção de URL (Search Console)
- Encontrar conteúdo específico no HTML renderizado confirma que o Googlebot pode acessar a página com sucesso.
- Fornece capacidade de teste ao vivo para verificar o status de acesso atual.
Teste de pesquisa aprimorada
- Atua como um método de verificação alternativo para acesso ao Googlebot
- Mostra como o Googlebot renderiza a página
- Pode ser usado mesmo sem acesso ao Search Console
Relatório de estatísticas de rastreamento
- Mostra dados detalhados de resposta do servidor especificamente de solicitações verificadas do Googlebot
- Ajuda a identificar padrões no comportamento legítimo do Googlebot
Há uma limitação importante que vale a pena observar: essas ferramentas verificam o que o Googlebot real vê e faz, mas não identificam diretamente os imitadores nos registros do servidor.
Para se proteger totalmente contra Googlebots falsos, você precisaria:
- Compare os registros do servidor com os intervalos de IP oficiais do Google
- Implementar verificação de pesquisa reversa de DNS
- Use as ferramentas acima para estabelecer o comportamento legítimo do Googlebot
Monitorando respostas do servidor
Splitt também enfatizou a importância de monitorar as respostas do servidor às solicitações de rastreamento, principalmente:
- Erros da série 500
- Buscar erros
- Tempos limite
- Problemas de DNS
Esses problemas podem afetar significativamente a eficiência do rastreamento e a visibilidade da pesquisa em sites maiores que hospedam milhões de páginas.
Dividir diz:
“Preste atenção às respostas que seu servidor deu ao Googlebot, especialmente um grande número de 500 respostas, erros de busca, tempos limite, problemas de DNS e outras coisas.”
Ele observou que, embora alguns erros sejam transitórios, problemas persistentes “podem ser necessários para uma investigação mais aprofundada”.
Splitt sugeriu usar a análise de log do servidor para fazer um diagnóstico mais sofisticado, embora reconhecesse que “não é algo básico de se fazer”.
No entanto, ele enfatizou seu valor, observando que “observar os logs do seu servidor web… é uma maneira poderosa de entender melhor o que está acontecendo no seu servidor”.
Impacto potencial
Além da segurança, o tráfego falso do Googlebot pode afetar o desempenho do site e os esforços de SEO.
Splitt enfatizou que a acessibilidade do site em um navegador não garante o acesso do Googlebot, citando várias barreiras potenciais, incluindo:
- Restrições do Robots.txt
- Configurações de firewall
- Sistemas de proteção contra bots
- Problemas de roteamento de rede
Olhando para o futuro
O tráfego falso do Googlebot pode ser irritante, mas Splitt diz que você não deve se preocupar muito com casos raros.
Suponha que a atividade falsa do rastreador se torne um problema ou use muita energia do servidor. Nesse caso, você pode tomar medidas como limitar a taxa de solicitações, bloquear endereços IP específicos ou usar melhores métodos de detecção de bots.
Para saber mais sobre esse assunto, veja o vídeo completo abaixo:
Imagem em destaque: eamesBot/Shutterstock
