Gary Illys do Google alerta os agentes da IA criarão congestionamento na web
Um engenheiro do Google alertou que agentes de IA e bots automatizados em breve inundarão a Internet com o tráfego.
Gary Illyes, que trabalha na equipe de relações de pesquisa do Google, disse que “todo mundo e minha avó estão lançando um rastreador” durante um podcast recente.
O aviso vem da última pesquisa do Google no episódio de podcast.
Os agentes da IA forçarão sites
Durante sua conversa com o membro da equipe de relações de pesquisa Martin Splitt, Illyes alertou que os agentes da IA e as “travessuras da AI” serão fontes significativas de novo tráfego na Web.
Illyes disse:
“A Web está ficando congestionada … não é algo que a Web não possa lidar … A Web foi projetada para poder lidar com todo esse tráfego, mesmo que seja automático”.
Esse aumento ocorre à medida que as empresas implantam ferramentas de IA para criação de conteúdo, pesquisa de concorrentes, análise de mercado e coleta de dados. Cada ferramenta exige que os sites de rastreamento funcionem e, com o rápido crescimento da adoção da IA, esse tráfego deve aumentar.
Como funciona o sistema de rastreador do Google
O podcast fornece uma discussão detalhada da configuração de rastreamento do Google. Em vez de empregar rastreadores diferentes para cada produto, o Google desenvolveu um sistema unificado.
Pesquisa do Google, Adsense, Gmail e outros produtos utilizam a mesma infraestrutura de rastreador. Cada um se identifica com um nome diferente do agente do usuário, mas todos aderem aos mesmos protocolos para robots.txt e saúde do servidor.
Illyes explicou:
“Você pode buscar com ele na Internet, mas precisa especificar sua própria string de agente de usuário.”
Essa abordagem unificada garante que todos os rastreadores do Google sigam os mesmos protocolos e reduzem quando os sites encontram dificuldades.
O verdadeiro recurso porco? Não está rastejando
Illyes desafiou a sabedoria convencional de SEO com uma reivindicação potencialmente controversa: o rastreamento não consome recursos significativos.
Illyes declarou:
“Não é rastejar que está consumindo os recursos, está indexando e potencialmente servir ou o que você está fazendo com os dados”.
Ele até brincou que “gritou na internet” por dizer isso.
Essa perspectiva sugere que buscar páginas usa recursos mínimos em comparação com o processamento e o armazenamento dos dados. Para aqueles preocupados com o orçamento de rastreamento, isso pode alterar as prioridades de otimização.
De milhares a trilhões: o crescimento da web
Os Googles forneceram contexto histórico. Em 1994, o World Wide Worm Search Engine indexou apenas 110.000 páginas, enquanto o Webcrawler conseguiu indexar 2 milhões. Hoje, sites individuais podem exceder milhões de páginas.
Esse rápido crescimento exigia evolução tecnológica. Os rastreadores progrediram dos protocolos básicos de HTTP 1.1 para o moderno HTTP/2 para conexões mais rápidas, com suporte HTTP/3 no horizonte.
Batalha de eficiência do Google
O Google passou o ano passado tentando reduzir sua pegada rastreadora, reconhecendo o ônus dos proprietários do site. No entanto, novos desafios continuam surgindo.
Illyes explicou o dilema:
“Você salvou sete bytes de cada solicitação que você faz e, em seguida, esse novo produto adicionará oito.”
Todo ganho de eficiência é compensado por novos produtos de IA que exigem mais dados. Este é um ciclo que não mostra sinais de parada.
O que os proprietários do site devem fazer
O próximo aumento de tráfego requer ação em várias áreas:
- Infraestrutura: A hospedagem atual pode não suportar a carga esperada. Avalie a capacidade do servidor, as opções de CDN e os tempos de resposta antes que o influxo ocorra.
- Controle de acesso: Revise as regras do robots.txt para controlar quais rastreadores de AI podem acessar seu site. Bloqueie os bots desnecessários, permitindo que os legítimos funcionem corretamente.
- Desempenho do banco de dados: Illyes apontou especificamente “chamadas de banco de dados caras” como problemáticas. Otimize consultas e implemente o cache para aliviar a tensão do servidor.
- Monitoramento: Diferencie entre rastreadores legítimos, agentes de IA e robôs maliciosos através de análises completas de log e rastreamento de desempenho.
O caminho a seguir
Illyes apontou para o rastreamento comum como um modelo em potencial, que se arrasta uma vez e compartilha dados publicamente, reduzindo o tráfego redundante. Soluções colaborativas semelhantes podem surgir à medida que a Web se adapta.
Embora Illyes tenha expressado confiança na capacidade da Web de gerenciar o aumento do tráfego, a mensagem é clara: os agentes da IA estão chegando em números maciços.
Os sites que fortalecem sua infraestrutura agora estarão melhor equipados para enfrentar a tempestade. Aqueles que esperam podem se sentir sobrecarregados quando a força total da onda chegar.
Ouça o episódio completo do podcast abaixo:
https://www.youtube.com/watch?v=gugGonz1e
Imagem em destaque: Collery/Shutterstock
