Google causa interrupções globais na ferramenta SEO

O Google invadiu web scrapers que coletam dados de resultados de pesquisa, provocando interrupções globais em muitas ferramentas populares de rastreamento de classificação, como SEMRush, que dependem do fornecimento de dados atualizados das páginas de resultados de pesquisa.

O que acontece se as SERPs do Google forem completamente bloqueadas? Uma certa quantidade de dados fornecidos por serviços de rastreamento há muito tempo é extrapolada por algoritmos de diversas fontes de dados. É possível que uma forma de contornar o bloco atual seja extrapolar os dados de outras fontes.

Raspagem SERP proibida pelo Google

As diretrizes do Google há muito proíbem a verificação automatizada de classificação nos resultados de pesquisa, mas aparentemente o Google também permitiu que muitas empresas raspassem seus resultados de pesquisa e cobrassem pelo acesso aos dados de classificação para fins de rastreamento de palavras-chave e classificações.

De acordo com as diretrizes do Google:

“Tráfego gerado por máquina (também chamado de tráfego automatizado) refere-se à prática de enviar consultas automatizadas ao Google. Isso inclui a coleta de resultados para fins de verificação de classificação ou outros tipos de acesso automatizado à Pesquisa Google conduzido sem permissão expressa. O tráfego gerado por máquinas consome recursos e interfere na nossa capacidade de atender melhor os usuários. Tais atividades violam nossas políticas de spam e os Termos de Serviço do Google.”

Bloquear raspadores é complexo

Bloquear scrapers consome muitos recursos, especialmente porque eles podem responder aos bloqueios fazendo coisas como alterar seu endereço IP e agente de usuário para contornar qualquer bloqueio. Outra maneira de bloquear scrapers é direcionar comportamentos específicos, como quantas páginas são solicitadas por um usuário. Quantidades excessivas de solicitações de página podem desencadear um bloqueio. O problema dessa abordagem é que ela pode consumir muitos recursos para manter o controle de todos os endereços IP bloqueados, que podem rapidamente chegar a milhões.

Relatórios nas redes sociais

Uma postagem no grupo privado SEO Signals Lab do Facebook anunciou que o Google estava atacando fortemente os web scrapers, com um membro comentando que a ferramenta Scrape Owl não estava funcionando para eles, enquanto outros citaram que os dados do SEMRush não foram atualizados.

Outra postagem, desta vez no LinkedIn, observou várias ferramentas que não estavam atualizando seu conteúdo, mas também observou que o bloqueio não afetou todos os provedores de dados, observando que o Sistrix e o MonitorRank ainda estavam funcionando. Alguém de uma empresa chamada HaloScan relatou que fez ajustes para retomar a coleta de dados do Google e se recuperou, e outra pessoa relatou que outra ferramenta chamada MyRankingMetrics ainda está relatando dados.

Portanto, o que quer que o Google esteja fazendo, não está afetando todos os scrapers. Pode ser que o Google esteja visando determinados comportamentos de scraping, aprendendo com as respostas e melhorando sua capacidade de bloqueio. As próximas semanas podem revelar que o Google está melhorando sua capacidade de bloquear scrapers ou está visando apenas os maiores.

Outra postagem no LinkedIn especulou que o bloqueio pode resultar em recursos e taxas mais altas cobradas dos usuários finais de ferramentas SaaS SEO. Eles postaram:

“Essa mudança do Google está tornando a extração de dados mais desafiadora e cara. Como resultado, os usuários podem enfrentar taxas de assinatura mais altas. “

Ryan Jones twittou:

“O Google parece ter feito uma atualização ontem à noite que bloqueia a maioria dos scrapers e muitas APIs.

Google, forneça-nos uma API paga para resultados de pesquisa. em vez disso, pagaremos a você.”

Nenhum anúncio do Google

Até agora não houve nenhum anúncio por parte do Google, mas pode ser que a conversa online force alguém no Google a considerar fazer uma declaração.

Imagem em destaque por Shutterstock/Krakenimages.com