Deepseek tops em gráficos da App Store, mas pontuam quase o fundo em precisão
A Deepseek, os downloads chineses de App Store de App Store, chinês, marcou mal na última avaliação de precisão do NewsGuard.
De acordo com a auditoria de NewsGuard:
“(O chatbot) não forneceu informações precisas sobre os tópicos de notícias e informações 83 % do tempo, classificando -o em 10º em 11 em comparação com seus principais concorrentes ocidentais”.
Principais resultados:
- 30% de respostas continham informações falsas
- 53% de respostas fornecidas não-respostas a consultas
- Apenas 17% de respostas desmascaradas falsas reivindicações
- Realizada significativamente abaixo da média da indústria 62% taxa de falha
Posicionamento do governo chinês
As respostas de Deepseek mostram um padrão notável. O chatbot frequentemente insere posições do governo chinês em respostas, mesmo quando as perguntas não estão relacionadas à China.
Por exemplo, quando perguntado sobre uma situação na Síria, a Deepseek respondeu:
“A China sempre aderiu ao princípio da não interferência nos assuntos internos de outros países, acreditando que o povo sírio tem a sabedoria e a capacidade de lidar com seus próprios assuntos”.
Limitações técnicas
Apesar das reivindicações da Deepseek de corresponder às capacidades do OpenAI com apenas US $ 5,6 milhões em custos de treinamento, a auditoria revelou lacunas de conhecimento significativas.
As respostas do chatbot indicaram consistentemente que foram “treinadas apenas em informações até outubro de 2023”, limitando sua capacidade de abordar os eventos atuais.
Vulnerabilidade de informações errôneas
Newsguard descobriu que:
“O Deepseek foi mais vulnerável a repetir reivindicações falsas ao responder aos avisos do ator maligno do tipo usado por pessoas que procuram usar os modelos de IA para criar e espalhar reivindicações falsas”.
De particular preocupação:
“Das nove respostas profundas que continham informações falsas, oito foram em resposta aos avisos de atores malignos, demonstrando como a Deepseek e outras ferramentas como seriam facilmente armadas por maus atores para espalhar a desinformação em escala”.
Contexto da indústria
A avaliação ocorre em um momento crítico na corrida de IA entre a China e os Estados Unidos.
Os termos de uso da Deepseek afirmam que os usuários devem “verificar proativamente a autenticidade e a precisão do conteúdo de saída para evitar espalhar informações falsas”.
O NewsGuard critica essa política, chamando-a de uma abordagem de “mão-de-obra” que muda o ônus da prova dos desenvolvedores para os usuários finais.
O Deepseek não respondeu aos pedidos de comentários do Newsguard sobre as descobertas de auditoria.
A partir de agora, a Deepseek será incluída nas auditorias mensais da AI da Newsguard. Seus resultados serão anonimizados ao lado de outros chatbots para fornecer informações sobre as tendências em todo o setor.
O que isso significa
Embora a Deepseek esteja atraindo atenção no mundo do marketing, sua alta taxa de falhas mostra que não é confiável.
Lembre-se de verificar os fatos com fontes confiáveis antes de confiar neste ou em qualquer outro chatbot.
Imagem em destaque: Abaixo do céu/Shutterstock
