A orientação atualizada do rastreador do Google recomenda ETags
O Google anunciou uma atualização na documentação do rastreador, adicionando mais informações sobre armazenamento em cache, o que deve ajudar a entender melhor como otimizar o rastreador do Google. Seguindo as novas diretrizes sobre a implementação de cabeçalhos de cache HTTP adequados, os SEOs e os editores podem melhorar a eficiência do rastreamento e otimizar os recursos do servidor.
Documentação atualizada do rastreador
A documentação do rastreador agora tem uma seção que explica como os rastreadores do Google usam mecanismos de cache HTTP que ajudam a conservar os recursos de computação para os editores e para o Google durante o rastreamento.
As adições à documentação expandem significativamente a versão anterior.
Mecanismos de cache
O Google recomenda ativar o cache com cabeçalhos como ETag e If-None-Match, bem como opcionalmente Last-Modified e If-Modified-Since, para sinalizar se o conteúdo foi alterado. Isso pode ajudar a reduzir rastreamentos desnecessários e economizar recursos do servidor, o que é uma vitória tanto para os editores quanto para os rastreadores do Google.
A nova documentação afirma:
“A infraestrutura de rastreamento do Google suporta cache HTTP heurístico conforme definido pelo padrão de cache HTTP, especificamente por meio do cabeçalho de solicitação de resposta ETag e If-None-Match, e do cabeçalho de solicitação de resposta Last-Modified e If-Modified-Since.”
Preferência do Google por preferência para ETag
O Google recomenda usar ETag em vez de Última modificação porque ETag é menos sujeito a erros, como problemas de formatação de data, e fornece validação de conteúdo mais precisa. Também explica o que acontece se os cabeçalhos de resposta ETag e Last-Modified forem veiculados:
“Se os campos de cabeçalho de resposta ETag e Última modificação estiverem presentes na resposta HTTP, os rastreadores do Google usam o valor ETag conforme exigido pelo padrão HTTP.”
A nova documentação também afirma que outras diretivas de cache HTTP não são suportadas.
Veja também: 9 dicas para otimizar o orçamento de rastreamento para SEO
Suporte variável entre rastreadores
A nova documentação explica que o suporte ao cache difere entre os rastreadores do Google. Por exemplo, o Googlebot oferece suporte ao cache para novo rastreamento, enquanto o Storebot-Google tem suporte limitado ao cache.
O Google explica:
“Rastreadores e buscadores individuais do Google podem ou não usar cache, dependendo das necessidades do produto ao qual estão associados. Por exemplo, o Googlebot oferece suporte ao cache ao rastrear novamente URLs para a Pesquisa Google, e o Storebot-Google só oferece suporte ao cache em determinadas condições”
Orientação sobre implementação
A nova documentação do Google recomenda entrar em contato com provedores de hospedagem ou CMS para obter assistência. Também sugere (mas não exige) que os editores definam o campo max-age do cabeçalho de resposta Cache-Control para ajudar os rastreadores a saber quando rastrear URLs específicos.
Postagem de blog totalmente nova
O Google também publicou uma nova postagem no blog:
Rastreamento de dezembro: cache HTTP
Leia a documentação atualizada:
Imagem em destaque por Shutterstock/Asier Romero
