O Google está exigindo JavaScript para bloquear ferramentas de SEO

O Google fez uma mudança na forma como seus resultados de pesquisa são exibidos, o que também ajudará a protegê-lo contra bots e scrapers. Se isso terá um efeito adicional nas ferramentas de SEO ou se eles podem usar um Chrome sem cabeça que usa JavaScript permanece uma questão em aberto no momento, mas é provável que o Google esteja usando a limitação de taxa para limitar quantas páginas podem ser solicitadas dentro de um determinado período de tempo. .

A Pesquisa Google agora requer JavaScript

O Google atualizou discretamente sua caixa de pesquisa para exigir que todos os usuários, incluindo bots, tivessem o JavaScript ativado durante a pesquisa.

Navegar na Pesquisa Google sem JavaScript ativado resulta na seguinte mensagem:

Ative o JavaScript para continuar pesquisando
O navegador que você está usando está com o JavaScript desativado. Para continuar sua pesquisa, ative-o.

Captura de tela da mensagem JavaScript da Pesquisa Google

Em um e-mail para o TechCrunch, um porta-voz do Google compartilhou os seguintes detalhes:

“Ativar o JavaScript nos permite proteger melhor nossos serviços e usuários contra bots e formas crescentes de abuso e spam,…e fornecer as informações mais relevantes e atualizadas.”

O JavaScript possivelmente permite a personalização na experiência de pesquisa, que é o que o porta-voz pode querer dizer ao fornecer as informações mais relevantes. Mas o JavaScript também pode ser usado para bloquear bots.

Usando a versão mais recente do Chrome, copiei parte do JavaScript e executei-o no ChatGPT para perguntar o que ele fazia. Uma parte pode estar relacionada com a restrição de pedidos abusivos de documentos.

Captura de tela das ferramentas de desenvolvimento do Chrome

ChatGPT me deu o seguinte feedback:

“Funcionalidades essenciais
Geração de valor aleatório (rdb)

Gera um valor aleatório com base nas propriedades (D_d, idc e p4b) do objeto de entrada a, restrito por p7d.
Isso pode ser usado para limitação de taxa, espera exponencial ou lógica semelhante.

Objetivo e Contexto
Dos seus componentes, o script:

Provavelmente lida com novas tentativas de solicitação ou controle de acesso para recursos da web.

Implementa um sistema de aplicação de políticas, onde:

As políticas determinam se as solicitações são válidas.

Os erros são registrados e, às vezes, repetidos com base em regras.

Atrasos ou limites aleatórios podem controlar o mecanismo de nova tentativa.

Parece otimizado para tratamento de erros e resiliência em sistemas distribuídos ou de alto tráfego, possivelmente dentro de um serviço ou API do Google.”

ChatGPT disse que o código pode usar limitação de taxa, que é uma forma de limitar o número de ações que um usuário ou sistema pode realizar em um período de tempo específico.

Limitação de taxa:

Usado para impor um limite no número de ações (por exemplo, solicitações de API) que um usuário ou sistema pode realizar dentro de um período de tempo específico.
Neste código, os valores aleatórios gerados pelo rdb poderiam ser usados ​​para introduzir variabilidade em quando ou com que frequência as solicitações são permitidas, ajudando a gerenciar o tráfego de forma eficaz.

Espera exponencial:

ChatGPT explicou que a espera exponencial é uma forma de limitar a quantidade de novas tentativas para uma ação com falha que um usuário ou sistema pode realizar. O período de tempo entre novas tentativas para uma ação com falha aumenta exponencialmente.

Lógica semelhante:

ChatGPT explicou que a geração aleatória de valor poderia ser usada para gerenciar o acesso aos recursos e evitar solicitações abusivas.

Não tenho certeza se é isso que o JavaScript específico está fazendo, foi o que o ChatGPT explicou e definitivamente corresponde à informação que o Google compartilhou de que eles estão usando JavaScript como parte de sua estratégia para bloquear bots.