A busca por informações no Google hoje em dia frequentemente nos coloca frente a frente com o AI Overviews, a ferramenta de resumo impulsionada pelo Gemini que aparece no topo da página de resultados. Desde o seu lançamento em 2024, o AI Overviews tem enfrentado desafios, atraindo críticas dos usuários devido à sua precisão irregular. Embora tenha havido melhorias e, na maioria das vezes, forneça a resposta correta, o padrão ainda é relativamente baixo.

Uma nova análise do The New York Times tentou avaliar a precisão do AI Overviews, concluindo que acerta em cerca de 90% das vezes. O outro lado da moeda, no entanto, é que 1 em cada 10 respostas geradas pela inteligência artificial está incorreta. Para uma empresa do porte do Google, isso significa a disseminação de centenas de milhares de informações errôneas a cada minuto do dia. Isso representa um desafio significativo em termos de responsabilidade e confiabilidade da informação online.

O The New York Times conduziu esta análise com a ajuda de uma startup chamada Oumi, que está profundamente envolvida no desenvolvimento de modelos de inteligência artificial. A empresa utilizou ferramentas de IA para testar o AI Overviews com o SimpleQA, um teste comum usado para avaliar a factualidade de modelos generativos como o Gemini. Lançado pela OpenAI em 2024, o SimpleQA é essencialmente uma lista de mais de 4.000 perguntas com respostas verificadas, projetado para testar a capacidade de um modelo de IA de recuperar e apresentar informações precisas.

Os resultados desta análise levantam questões importantes sobre a escalabilidade e a confiabilidade das ferramentas de IA generativa. Embora a taxa de precisão de 90% possa parecer razoável à primeira vista, o volume absoluto de informações incorretas que o Google AI Overviews está potencialmente disseminando é preocupante. Imagine o impacto em áreas como notícias, saúde e educação, onde informações precisas são cruciais.

Este estudo serve como um lembrete da necessidade de vigilância constante e aprimoramento contínuo nos modelos de IA. Empresas como o Google precisam investir em mecanismos robustos de verificação e correção para minimizar a propagação de informações incorretas. Os usuários, por sua vez, devem permanecer céticos e verificar as informações obtidas através do AI Overviews com fontes adicionais. A era da IA generativa oferece um enorme potencial, mas também exige uma abordagem responsável e consciente para garantir que a tecnologia seja utilizada para o benefício da sociedade, e não para a disseminação de desinformação em larga escala. A batalha entre precisão e desinformação está apenas começando, e a atenção constante é fundamental.