Pesquisa ChatGPT mostra taxa de erro de 76,5% no estudo de atribuição
O ChatGPT Search da OpenAI está lutando para citar editores de notícias com precisão, de acordo com um estudar pelo Tow Center for Digital Journalism da Universidade de Columbia.
O relatório encontrou citações erradas e atribuições incorretas frequentes, levantando preocupações entre os editores sobre a visibilidade da marca e o controle sobre seu conteúdo.
Além disso, as descobertas desafiam o compromisso da OpenAI com o desenvolvimento responsável da IA no jornalismo.
Antecedentes da pesquisa ChatGPT
A OpenAI lançou o ChatGPT Search no mês passado, alegando que colaborava extensivamente com a indústria de notícias e incorporava o feedback dos editores.
Isso contrasta com o lançamento original do ChatGPT em 2022, onde os editores descobriram que seu conteúdo havia sido usado para treinar os modelos de IA sem aviso prévio ou consentimento.
Agora, o OpenAI permite que os editores especifiquem, por meio do arquivo robots.txt, se desejam ser incluídos nos resultados da pesquisa ChatGPT.
No entanto, as conclusões do Tow Center sugerem que os editores enfrentam o risco de atribuição errada e deturpação, independentemente da sua escolha de participação.
Problemas de precisão
O Tow Center avaliou a capacidade do ChatGPT Search de identificar fontes de citações de 20 publicações.
As principais conclusões incluem:
- De 200 consultas, 153 respostas estavam incorretas.
- A IA raramente reconheceu os seus erros.
- Frases como “possivelmente” foram utilizadas em apenas sete respostas.
O ChatGPT muitas vezes priorizava agradar os usuários em vez da precisão, o que poderia enganar os leitores e prejudicar a reputação dos editores.
Além disso, os pesquisadores descobriram que o ChatGPT Search é inconsistente quando a mesma pergunta é feita várias vezes, provavelmente devido à aleatoriedade incorporada em seu modelo de linguagem.
Citando conteúdo copiado e distribuído
Os pesquisadores descobrem que o ChatGPT Search às vezes cita artigos copiados ou distribuídos em vez de fontes originais.
Provavelmente, isso se deve a restrições do editor ou limitações do sistema.
Por exemplo, quando solicitado a citar um artigo do New York Times (atualmente envolvido em uma ação judicial contra a OpenAI e bloqueando seus rastreadores), o ChatGPT criou um link para uma versão não autorizada em outro site.
Mesmo com o MIT Technology Review, que permite rastreadores OpenAI, o chatbot citou uma cópia distribuída em vez do original.
O Tow Center descobriu que todos os editores correm o risco de serem falsas declarações por parte do ChatGPT Search:
- A ativação de rastreadores não garante visibilidade.
- O bloqueio de rastreadores não impede a exibição do conteúdo.
Estas questões levantam preocupações sobre a filtragem de conteúdo da OpenAI e a sua abordagem ao jornalismo, o que pode afastar as pessoas dos editores originais.
OpenAI’s Response
A OpenAI respondeu às descobertas do Tow Center afirmando que apoia os editores por meio de atribuição clara e ajuda os usuários a descobrir conteúdo com resumos, citações e links.
Um porta-voz da OpenAI declarou:
“Apoiamos editores e criadores ajudando 250 milhões de usuários semanais do ChatGPT a descobrir conteúdo de qualidade por meio de resumos, citações, links claros e atribuição. Colaboramos com parceiros para melhorar a precisão das citações in-line e respeitar as preferências dos editores, inclusive possibilitando a forma como elas aparecem na pesquisa gerenciando o OAI-SearchBot em seu robots.txt. Continuaremos aprimorando os resultados da pesquisa.”
Embora a empresa tenha trabalhado para melhorar a precisão das citações, a OpenAI diz que é difícil resolver problemas específicos de atribuição incorreta.
A OpenAI continua comprometida em melhorar seu produto de busca.
Olhando para o futuro
Se a OpenAI quiser colaborar com a indústria de notícias, ela deve garantir que o conteúdo do editor seja representado com precisão no ChatGPT Search.
Atualmente, os editores têm poder limitado e estão acompanhando de perto os processos legais contra a OpenAI. Os resultados podem impactar os direitos de uso do conteúdo e dar aos editores mais controle.
À medida que produtos de pesquisa generativos como o ChatGPT mudam a forma como as pessoas interagem com as notícias, a OpenAI deve demonstrar um compromisso com o jornalismo responsável para ganhar a confiança dos utilizadores.
Imagem em destaque: Robert Way / Shutterstock
