Novos modelos de IA cometem mais erros, criando risco para profissionais de marketing
As ferramentas mais recentes da IA, construídas para serem mais inteligentes, cometem erros mais factuais do que as versões mais antigas.
Como o New York Times destaca, os testes mostram erros de 79% em sistemas avançados de empresas como o OpenAI.
Isso pode criar problemas para os profissionais de marketing que dependem dessas ferramentas para conteúdo e atendimento ao cliente.
Taxas de erro crescentes em sistemas de IA avançados
Testes recentes revelam uma tendência: os sistemas de IA mais recentes são menos precisos que seus antecessores.
O sistema mais recente da OpenAI, O3, ergueu os fatos errados 33% do tempo ao responder a perguntas sobre as pessoas. Isso é o dobro da taxa de erro do sistema anterior.
Seu modelo O4-Mini teve um desempenho ainda pior, com uma taxa de erro de 48% no mesmo teste.
Para perguntas gerais, os resultados (link PDF) foram:
- O3 da OpenAI cometeu erros 51% do tempo
- O modelo O4-mini estava errado 79% das vezes
Problemas semelhantes aparecem em sistemas do Google e Deepseek.
Amr Awadallah, CEO da Vectara e ex -executivo do Google, disse ao The New York Times:
“Apesar dos nossos melhores esforços, eles sempre vão alucinar. Isso nunca desaparecerá.”
Consequências do mundo real para as empresas
Esses não são apenas problemas abstratos. Os negócios reais estão enfrentando reação quando a IA fornece informações erradas.
No mês passado, o Cursor (uma ferramenta para programadores) enfrentou clientes raivosos quando seu bot de suporte de IA falsamente alegou que os usuários não podiam usar o software em vários computadores.
Isso não era verdade. O erro levou a contas canceladas e queixas públicas.
O CEO de Cursor, Michael Truell, teve que intervir:
“Não temos essa política. É claro que você está livre para usar o cursor em várias máquinas”.
Por que a confiabilidade está diminuindo
Por que os sistemas de IA mais novos são menos precisos? De acordo com um relatório do New York Times, a resposta está em como eles são construídos.
Empresas como o OpenAI usaram a maior parte do texto disponível na Internet para treinamento. Agora eles estão usando “aprendizado de reforço”, que envolve o ensino de IA por tentativa e erro. Essa abordagem ajuda com matemática e codificação, mas parece prejudicar a precisão factual.
A pesquisadora Laura Perez-Beltrachini explicou:
“Da maneira como esses sistemas são treinados, eles começarão a se concentrar em uma tarefa – e começarão a esquecer os outros”.
Outra questão é que os modelos de IA mais recentes “pensam” passo a passo antes de responder. Cada etapa cria outra chance de erros.
Essas descobertas são preocupantes para os profissionais de marketing que usam IA para conteúdo, atendimento ao cliente e análise de dados.
O conteúdo da IA com erros factuais pode prejudicar seus rankings de pesquisa e marca.
Pratik Verma, CEO da Okahu, disse ao The New York Times:
“Você passa muito tempo tentando descobrir quais respostas são factuais e quais não são. Não lidando com esses erros adequadamente elimina basicamente o valor dos sistemas de IA”.
Protegendo suas operações de marketing
Veja como proteger seu marketing:
- Peça aos humanos que revisem todo o conteúdo da IA voltado para o cliente
- Crie processos de verificação de fatos para material gerado pela IA
- Use a IA para estrutura e idéias, em vez de fatos
- Considere as ferramentas de IA que citam fontes (denominadas geração de recuperação e agitação)
- Crie etapas claras a seguir quando você identificar informações questionáveis de IA
A estrada à frente
Os pesquisadores estão trabalhando nesses problemas de precisão. O Openai diz que está “trabalhando ativamente para reduzir as taxas mais altas de alucinação” em seus modelos mais recentes.
As equipes de marketing precisam de suas próprias salvaguardas enquanto ainda usam os benefícios da IA. Empresas com fortes processos de verificação equilibrarão melhor a eficiência da IA com a necessidade de precisão.
Encontrar esse equilíbrio entre velocidade e correção continuará sendo um dos maiores desafios do marketing digital à medida que a IA continua a evoluir.
Imagem em destaque: O Kong/Shutterstock
