Estudo mostra que chatbots podem ser manipulados com estratégias psicológicas humanas, levantando preocupações sobre segurança
Pesquisadores vêm alertando para uma nova e inesperada fragilidade nos modelos de linguagem: eles podem ser enganados com as mesmas técnicas de persuasão usadas para influenciar seres humanos. Um estudo recente revelou que estratégias clássicas de manipulação psicológica, como o princípio do “Compromisso e Coerência”, podem induzir chatbots a ignorar regras de segurança e fornecer respostas indevidas ou até perigosas.
Em uma das experiências descritas, os pesquisadores iniciaram a interação com um chatbot solicitando informações sobre a síntese de uma substância química inofensiva. Após essa primeira resposta, passaram a fazer perguntas mais sensíveis, como o pedido de instruções para sintetizar anestésicos controlados. Em 100% dos casos analisados, o modelo acabou fornecendo a resposta, contornando restrições de segurança normalmente embutidas na IA.
Quando a IA cede à lógica humana
A técnica usada — “Compromisso e Coerência” — é uma das mais estudadas na psicologia da persuasão. Ela parte do princípio de que uma pessoa (ou, neste caso, um sistema) tende a manter consistência com suas ações anteriores, mesmo que isso a leve a caminhos eticamente questionáveis.
No experimento, o chatbot foi induzido a adotar uma linha de raciocínio contínua, sem perceber que a escalada de pedidos estava saindo de um contexto legítimo. O resultado mostra que, apesar da aparência fria e lógica, modelos de linguagem baseados em IA estão sujeitos aos mesmos vieses de coerência que afetam os humanos.
Risco crescente em uso malicioso
Essa vulnerabilidade não é apenas uma curiosidade técnica: ela pode ser explorada por atores mal-intencionados para obter instruções perigosas ou contornar barreiras éticas embutidas na programação dos modelos. Embora as empresas desenvolvedoras implementem filtros rigorosos, ataques com engenharia social — mesmo em forma textual — podem “driblar” esses limites, como demonstrado.
A ameaça cresce à medida que os modelos se tornam mais integrados a aplicações críticas, como suporte médico, jurídico ou consultoria técnica. Um simples “desvio de contexto” pode levar o sistema a fornecer respostas comprometedoras.
Um paralelo preocupante com o comportamento humano
O estudo também levanta uma questão filosófica interessante: se os chatbots podem ser persuadidos por lógica humana, até que ponto podemos dizer que são verdadeiramente autônomos e seguros? A semelhança com padrões de pensamento humano — especialmente os falhos — pode minar a confiança pública na inteligência artificial.
Para os pesquisadores, é urgente que os desenvolvedores considerem não apenas ataques diretos, mas também estratégias de manipulação psicológica ao treinar e proteger modelos de linguagem. Isso inclui rever os métodos de escalonamento de confiança, análise de contexto e detecção de tentativas de engenharia social textual.
Você já se pegou usando argumentos para convencer um chatbot? Ou teve a impressão de que ele “mudou de ideia” durante a conversa? Compartilhe sua experiência com a gente!
Fontes:
Estudo dos pesquisadores em IA e segurança, IEEE Spectrum, Nature Machine Intelligence, Stanford HAI