😵‍💫🤖 Frases fora de contexto confundem IAs em testes de lógica

Um novo estudo revelou que modelos de linguagem avançados podem falhar com até três vezes mais frequência quando expostos a frases aparentemente inofensivas inseridas fora de contexto. A pesquisa, conduzida por especialistas em inteligência artificial e segurança algorítmica, demonstrou que frases simples e irrelevantes podem desorientar modelos de raciocínio matemático, mesmo em tarefas bem compreendidas.

O experimento foi realizado com o modelo DeepSeek R1, um sistema de linguagem de alto desempenho treinado para resolver problemas matemáticos. Os pesquisadores desenvolveram um método chamado CatAttack, no qual frases distrativas são propositalmente inseridas junto ao enunciado original do problema. Entre os exemplos usados estavam afirmações como “gatos adormecem a maior parte da vida”, além de conselhos financeiros genéricos e outras frases cotidianas sem relação com o conteúdo matemático.

O resultado foi surpreendente: a taxa de erro do modelo saltou de 1,5% para 4,5%, um aumento de 200%. Embora o percentual absoluto pareça pequeno, o impacto é expressivo em aplicações críticas, como diagnóstico médico assistido por IA, interpretação jurídica ou apoio à tomada de decisões financeiras — onde precisão e foco são essenciais.

Os pesquisadores destacam que esse comportamento está ligado a uma falha estrutural nos modelos atuais de linguagem, que ainda têm dificuldade em identificar com clareza quais informações são relevantes para a tarefa. Como os modelos são treinados para considerar todo o texto fornecido, mesmo trechos irrelevantes podem ativar padrões de associação indevidos, levando a respostas equivocadas.

Esse fenômeno, chamado de distração semântica adversária, expõe vulnerabilidades nos sistemas de IA generativa, especialmente quando utilizados em ambientes abertos, como plataformas educacionais, ferramentas de programação assistida ou suporte técnico automatizado. A manipulação intencional — ou mesmo acidental — de instruções pode comprometer a confiabilidade da resposta gerada.

O estudo também levanta questões sobre a robustez e segurança de modelos de raciocínio multimodal, que já estão sendo aplicados em áreas como robótica, assistentes de codificação, análise científica e sistemas autônomos. Modelos como GPT-4, Claude, Gemini e DeepSeek têm mostrado grande habilidade em lógica e linguagem, mas ainda demonstram fragilidade frente a distrações simples ou construções maliciosas.

Como resposta, especialistas sugerem o desenvolvimento de mecanismos de filtragem semântica embutidos, que permitam aos modelos identificar e ignorar informações fora de escopo, de forma mais próxima ao comportamento humano. Também recomendam que desenvolvedores testem seus sistemas com inputs adversariais, para validar a resistência dos modelos em cenários realistas.

A pesquisa é um alerta importante para equipes que utilizam IA em ambientes críticos: precisão não é suficiente se o modelo for vulnerável a manipulações textuais sutis. Mesmo frases aleatórias — como uma observação sobre gatos — podem, de forma inesperada, triplicar a chance de erro em tarefas matemáticas objetivas.

Você confia nas respostas de IAs em testes lógicos ou problemas técnicos? Já percebeu alguma falha inesperada por conta de informações fora de contexto? Compartilhe sua experiência nos comentários!

Fontes:
Artigo original dos pesquisadores do CatAttack, DeepSeek AI Research, MIT Technology Review, AI Alignment Forum, arXiv.org