Google publica novos robots.txt explicador
O Google publicou um novo robots.txt Refresher explicando como o robots.txt permite que editores e SEOs controlem os rastreadores de mecanismos de pesquisa e outros bots (que obedecem a robots.txt). A documentação inclui exemplos de bloqueio de páginas específicas (como carrinhos de compras), restringir certos bots e gerenciar o comportamento de rastejamento com regras simples.
Do básico ao avançado
A nova documentação oferece uma rápida introdução ao que é robots.txt e avança gradualmente para uma cobertura cada vez mais avançada do que os editores e SEOs podem fazer com robots.txt e como isso os beneficia.
O ponto principal da primeira parte do documento é introduzir robots.txt como um protocolo da Web estável com um histórico de 30 anos que é amplamente suportado por mecanismos de pesquisa e outros rastreadores.
O console de pesquisa do Google reportará uma mensagem de erro 404 se o robots.txt estiver faltando. Não há problema em que isso aconteça, mas se isso o incomodar, ver isso no GSC, você pode esperar 30 dias e o aviso cairá. Um alternativo é criar um arquivo robots.txt em branco, que também é aceitável pelo Google.
A nova documentação do Google explica:
“Você pode deixar seu arquivo robots.txt vazio (ou não tem um) se todo o seu site pode estar rasteado ou você poderá adicionar regras para gerenciar rastejamento.”
A partir daí, abrange o básico, como regras personalizadas para restringir páginas ou seções específicas.
Os usos avançados de robots.txt abrange esses recursos:
- Pode atingir rastreadores específicos com regras diferentes.
- Permite bloquear padrões de URL como PDFs ou páginas de pesquisa.
- Ativa o controle granular sobre os bots específicos.
- Apoia comentários para documentação interna.
A nova documentação termina descrevendo como é simples editar o arquivo robots.txt (é um arquivo de texto com regras simples), para que tudo o que você precisa é de um editor de texto simples. Muitos sistemas de gerenciamento de conteúdo têm uma maneira de editá -lo e existem ferramentas disponíveis para teste se o arquivo robots.txt estiver usando a sintaxe correta.
Leia a nova documentação aqui:
Robôs Refrescador: robots.txt – Uma maneira flexível de controlar como as máquinas exploram seu site
Imagem em destaque de Shutterstock/Bluestork
