Quando usar Noindex vs. Proibir
Em um vídeo recente no YouTube, Martin Splitt, do Google, explicou as diferenças entre a tag “noindex” nas meta tags robots e o comando “disallow” nos arquivos robots.txt.
Splitt, um desenvolvedor defensor do Google, apontou que ambos os métodos ajudam a gerenciar como os rastreadores de mecanismos de pesquisa funcionam com um site.
No entanto, eles têm finalidades diferentes e não devem ser usados no lugar um do outro.
Quando usar Noindex
A diretiva “noindex” instrui os mecanismos de pesquisa a não incluir uma página específica em seus resultados de pesquisa. Você pode adicionar esta instrução na seção HTML head usando a meta tag robots ou o cabeçalho HTTP X-Robots.
Use “noindex” quando quiser evitar que uma página apareça nos resultados de pesquisa, mas ainda permitir que os mecanismos de pesquisa leiam o conteúdo da página. Isso é útil para páginas que os usuários podem ver, mas que você não deseja que os mecanismos de pesquisa exibam, como páginas de agradecimento ou páginas internas de resultados de pesquisa.
Quando usar não permitir
A diretiva “disallow” no arquivo robots.txt de um site impede que rastreadores de mecanismos de pesquisa acessem URLs ou padrões específicos. Quando uma página não é permitida, os mecanismos de pesquisa não rastreiam ou indexam seu conteúdo.
Splitt aconselha o uso de “disallow” quando você deseja impedir completamente que os mecanismos de pesquisa recuperem ou processem uma página. Isso é adequado para informações confidenciais, como dados privados de usuários, ou para páginas que não são relevantes para mecanismos de pesquisa.
Relacionado: Aprenda como usar o robots.txt
Erros comuns a evitar
Um erro comum que os proprietários de sites cometem é usar “noindex” e “disallow” para a mesma página. Splitt desaconselha isso porque pode causar problemas.
Se uma página não for permitida no arquivo robots.txt, os mecanismos de pesquisa não poderão ver o comando “noindex” na meta tag da página ou no cabeçalho do X-Robots. Como resultado, a página ainda poderá ser indexada, mas com informações limitadas.
Para impedir que uma página apareça nos resultados da pesquisa, Splitt recomenda usar o comando “noindex” sem proibir a página no arquivo robots.txt.
O Google fornece um relatório robots.txt no Google Search Console para testar e monitorar como os arquivos robots.txt afetam a indexação do mecanismo de pesquisa.
Relacionado: 8 problemas comuns do Robots.txt e como corrigi-los
Por que isso é importante
Compreender o uso adequado das diretivas “noindex” e “disallow” é essencial para profissionais de SEO.
Seguir os conselhos do Google e usar as ferramentas de teste disponíveis ajudará a garantir que seu conteúdo apareça nos resultados de pesquisa conforme pretendido.
Veja o vídeo completo abaixo:
Imagem em destaque: Asier Romero/Shutterstock
