Google diz llms.txt comparável às palavras -chave meta tag

John Mueller, do Google, respondeu a uma pergunta sobre o LLMS.txt, um padrão proposto para mostrar o conteúdo do site a agentes e rastreadores de IA, subestimando sua utilidade e comparando -o com a metag de palavras -chave inúteis, confirmando a experiência de outras pessoas que o usaram.

Llms.txt

Llms.txt foi comparado como um robots.txt para grandes modelos de idiomas, mas isso é 100% incorreto. O principal objetivo de um robots.txt é controlar como os bots rastejam um site. A proposta de llms.txt não é controlar os bots. Isso seria supérfluo porque um padrão para isso já existe com robots.txt.

A proposta de llms.txt é geralmente sobre mostrar conteúdo ao LLMS com um arquivo de texto que usa o formato de marcação para que eles possam consumir apenas o conteúdo principal de uma página da web, completamente desprovida de publicidade e navegação no site. O idioma de marcação é um formato legível por humanas e máquina que indica títulos com o sinal de libra (#) e listas com o sinal de menos (-). O llms.txt faz algumas outras coisas semelhantes a essa funcionalidade e é tudo o que se trata.

O que é llms.txt:

• Llms.txt não é uma maneira de controlar os bots AI.
• Llms.txt é uma maneira de mostrar o conteúdo principal dos bots AI.
• LLMS.txt é apenas uma proposta e não é um padrão amplamente utilizado e aceito.

Essa última parte é importante porque se refere ao que John Mueller, do Google, disse:

Llms.txt é comparável às palavras -chave meta tag

Alguém iniciou uma discussão sobre o Reddit sobre o LLMS.txt para perguntar se mais alguém compartilhou sua experiência que os bots da IA ​​não estavam verificando seus arquivos llms.txt.

Eles escreveram:

“Eu enviei para o arquivo raiz do meu blog e um arquivo llm.txt no início deste mês, mas ainda não consigo ver nenhum impacto nos meus registros de rastreamento. Apenas curioso para saber se alguém tinha um sistema de rastreamento, e ou apenas se você atendeu a seguir em que se segue após a implementação.

Se você ainda não o implementou, estou curioso para ouvir seus pensamentos sobre isso. ”

Uma pessoa nessa discussão compartilhou que hospeda mais de 20.000 domínios e que nenhum agente ou bots de IA está baixando os arquivos llms.txt, apenas bots de nicho como um da Builtwith está pegando esses arquivos.

O comentarista escreveu:

“Atualmente, hospeda cerca de 20 mil domínios. Pode confirmar que nenhum bots está realmente agarrando -os além de alguns agentes de usuários de nicho …”

John Mueller respondeu:

“Afaik Nenhum dos serviços de IA disse que eles estão usando o llms.txt (e você pode saber quando você olha para os logs do servidor que eles nem sequer vêem). Para mim, é comparável à meta-tag das palavras-chave-é isso que um site-que afirma que o site não é sobre … (é realmente o site?

Ele está certo, nenhum dos principais serviços de IA, Antrópico, OpenAI e Google, anunciou suporte para o padrão LLMS.TXT proposto. Então, se nenhum deles está realmente usando, qual é o objetivo?

Mueller também levanta o ponto de que um arquivo llms.txt é redundante porque por que usar esse arquivo de marcação se o conteúdo original (e dados estruturados) já foram baixados? Um bot que usa o llms.txt terá que verificar o outro conteúdo para garantir que não seja spam, então por que se preocupar?

Por fim, o que impedirá um editor ou SEO de mostrar um conjunto de conteúdo no llms.txt para spam AI Agents e outro conjunto de conteúdo para usuários e mecanismos de pesquisa? É muito fácil gerar spam dessa maneira, essencialmente capturando o LLMS.

Nesse sentido, é muito semelhante à meta -tag de palavras -chave que nenhum mecanismo de pesquisa usa, porque seria muito superficial confiar em um site que se trata realmente dessas palavras -chave e mecanismos de pesquisa são melhores e mais sofisticados hoje em dia sobre a análise do conteúdo para entender o que se trata.

Leia a discussão do LinkedIn aqui:

Llm.txt – Onde estamos?

Imagem em destaque de Shutterstock/Jemastock