Pesquisa ChatGPT manipulada com instruções ocultas
Novo relatório afirma que o ChatGPT Search pode ser manipulado com texto oculto apresentando instruções que dizem ao ChatGPT Search como responder a uma resposta. Os testes também mostraram que o ChatGPT pode ser manipulado sem as instruções, apenas com o texto oculto.
A pesquisa ChatGPT pode ser manipulada com texto oculto
Um relatório do The Guardian descreve como eles usaram texto oculto em um site falso para enganar o ChatGPT Search e mostrar-lhes uma resposta de texto oculto na página da web. O texto fica oculto quando a fonte corresponde à cor de fundo de uma página, como uma fonte branca sobre fundo branco.
Eles então pediram ao ChatGPT Search que visitasse o site e respondesse a uma pergunta com base no texto do site. O ChatGPT Search navegou no site, indexou o conteúdo oculto e utilizou-o na resposta.
Eles primeiro avaliaram o ChatGPT usando uma página de controle de não exploração em um site de avaliação falso para testar a resposta do ChatGPT. Ele leu os comentários e retornou uma resposta normal.
Em seguida, pesquisadores do The Guardian enviaram o ChatGPT Search para um site falso que tinha instruções para dar uma avaliação positiva e o ChatGPT Search seguiu as instruções e retornou avaliações positivas.
Os pesquisadores fizeram um terceiro teste com avaliações positivas escritas em texto oculto, mas sem instruções, e o ChatGPT Search retornou novamente avaliações positivas.
Foi assim que o The Guardian explicou:
“…quando o texto oculto incluía instruções ao ChatGPT para retornar uma avaliação favorável, a resposta era sempre totalmente positiva. Esse acontecia mesmo quando a página continha comentários negativos – o texto oculto poderia ser usado para substituir a pontuação real da revisão.
A simples inclusão de texto oculto por terceiros sem instruções também pode ser usada para garantir uma avaliação positiva, com um teste incluindo avaliações falsas extremamente positivas que influenciaram o resumo retornado pelo ChatGPT.”
O teste acima é semelhante a um teste do ChatGPT que um professor universitário de ciência da computação fez em março de 2023, onde enganou o ChatGPT para dizer que era um especialista em viagens no tempo.
O que esses testes provam é que os dados de treinamento do ChatGPT e o ChatGPT Search Bot ingerem texto oculto, mas também podem ser manipulados nas seguintes instruções. O Guardian cita um especialista em segurança dizendo que a OpenAI foi informada da exploração e que ela poderá ser corrigida no momento da publicação do artigo.
Por que os motores de busca de IA podem ser manipulados?
Uma lacuna na pesquisa de IA é uma tecnologia chamada RAG (Retrieval Augmented Generation), uma técnica que pode buscar informações de um mecanismo de pesquisa para que uma IA possa usá-la para gerar respostas a perguntas de fontes atualizadas e (presumivelmente) confiáveis. Como os motores de pesquisa de IA determinam páginas da web confiáveis? A Perplexity AI, por exemplo, usa uma versão modificada do PageRank para identificar páginas da web confiáveis para citar em seu mecanismo de busca de IA.
O ChatGPT Search é baseado no Bing, mas também possui seu próprio rastreador que pode buscar informações em tempo real. Provavelmente não é absurdo especular que, se um site estiver incluído no índice de pesquisa do Bing, provavelmente estará incluído no ChatGPT Search, o que deve proteger o ChatGPT Search de ser influenciado por texto oculto. Presumivelmente, sites com texto oculto seriam excluídos do índice de pesquisa do Bing. Dito isso, pode ser possível ocultar um site para que ele mostre conteúdo diferente para o ChatGPT Search Bot (uma lista atualizada de bots OpenAI Search Crawler está disponível aqui).
Outras maneiras de manipular mecanismos de pesquisa de IA
Diz-se que existem outras maneiras que os pesquisadores descobriram no ano passado que ainda podem ser eficazes (Ler: Pesquisadores descobrem como fazer SEO para pesquisa de IA). Neste artigo de pesquisa do ano passado, os pesquisadores testaram nove estratégias para influenciar os mecanismos de pesquisa de IA:
Nove estratégias para manipular mecanismos de pesquisa de IA
- Autoritário: Mudar o estilo de escrita para ser mais persuasivo em afirmações oficiais
- Otimização de palavras-chave: adicionando mais palavras-chave da consulta de pesquisa
- Adição de estatísticas: alteração do conteúdo existente para incluir estatísticas em vez de informações interpretativas.
- Citar fontes (citando fontes confiáveis)
- Adição de citações: Adicionar citações e citações de fontes de alta qualidade
- Fácil de entender: tornando o conteúdo mais simples de entender
- A Otimização de Fluência trata de tornar o conteúdo mais articulado
- Palavras únicas: adicionar palavras menos usadas, raras e únicas, mas sem alterar o significado do conteúdo
- Termos Técnicos: Esta estratégia adiciona termos exclusivos e técnicos sempre que fizer sentido e sem alterar o significado do conteúdo
Os pesquisadores descobriram que as três primeiras estratégias funcionaram melhor. Notavelmente, adicionar palavras-chave em páginas da web ajudou muito.
A pesquisa ChatGPT pode ser manipulada?
Ouvi afirmações feitas em uma recente conferência de pesquisa de que as visões gerais de IA do Google poderiam ser manipuladas para mostrar determinados produtos de grandes marcas em resposta a consultas de pesquisa. Não verifiquei se isso era verdade, mas a afirmação foi feita por uma fonte confiável e autorizada. Com relação ao ChatGPT Search, notei algumas coisas interessantes sobre quais sites ele escolhe para exibir informações e em que circunstâncias, o que pode ser uma forma de influenciar as classificações. Portanto, não é surpreendente que existam lacunas de classificação na Pesquisa ChatGPT. O AI Search se parece muito com os primeiros dias da pesquisa tradicional.
Imagem em destaque de Shutterstock/Antonello Marangi
