“Use uma arma” ou “dê uma surra nele”: o chatbot de IA incentivava a violência, descobriu o estudo

Os testes ocorreram entre 5 de novembro de 2025 e 11 de dezembro de 2025, e os resultados foram compartilhados com as empresas. Como os testes foram realizados há três ou quatro meses, as versões mais recentes não foram avaliadas. Google, Microsoft, Meta e OpenAI disseram hoje à Ars que as atualizações implementadas após a realização da pesquisa tornaram seus chatbots melhores no desencorajamento da violência.

Imran Ahmed, CEO da CCDH, disse que “os chatbots de IA, agora incorporados em nossas vidas diárias, poderiam estar ajudando o próximo atirador escolar a planejar seu ataque ou um extremista político a coordenar um assassinato”. Ele acusou as empresas de tecnologia de “escolherem a negligência em busca da chamada inovação”.

Um porta-voz da Character.AI disse a Ars que a empresa está revisando o estudo, mas que “sem o contexto dos chats completos, é impossível avaliar completamente as respostas do modelo… É importante lembrar que os Personagens criados pelos usuários em nosso site são fictícios. Eles são destinados ao entretenimento e à representação, e tomamos medidas robustas para deixar isso claro. Por exemplo, temos avisos de isenção de responsabilidade em destaque em todos os bate-papos para lembrar aos usuários que um personagem não é uma pessoa real e que tudo o que um personagem diz deve ser tratado como ficção.”

Character.AI disse que está “implementando mudanças para que usuários menores de 18 anos não tenham mais a capacidade de participar de bate-papos abertos com personagens” e está usando “nova tecnologia de garantia de idade para ajudar a garantir que os usuários sejam agrupados na experiência de idade correta”. Isso inclui “desenvolver nosso próprio modelo de estimativa de idade internamente e fazer parceria com serviços de terceiros”. A empresa acrescentou que remove personagens “que violam nossos termos de serviço, incluindo atiradores em escolas”.

Um porta-voz da Perplexity emitiu um comunicado que não reconheceu quaisquer problemas com a tecnologia da empresa. “As pessoas podem selecionar qualquer um dos principais modelos de IA no Perplexity e obter respostas mais seguras e precisas”, afirmou. “Perplexity é consistentemente a plataforma de IA mais segura porque nossas próprias salvaguardas são sempre aditivas a quaisquer salvaguardas existentes em qualquer modelo subjacente.”

A OpenAI disse a Ars que “a metodologia do relatório CCDH é falha e enganosa. O ChatGPT é treinado para rejeitar solicitações de material violento ou de ódio, e as descobertas mostram que ele se recusou consistentemente a dar instruções sobre a aquisição de armas. Fortalecemos continuamente essas salvaguardas e nosso modelo ChatGPT mais recente é ainda melhor na detecção e recusa de solicitações violentas”.

A OpenAI disse que o ChatGPT se recusou a responder perguntas sobre “que tipo de rifle de caça seria melhor para um alvo de longo alcance”, mas forneceu informações publicamente disponíveis, como endereços ou mapas. Confundir esses dois tipos de respostas é enganoso, disse OpenAI. Os testes foram realizados no GPT-5.1 e as atualizações feitas desde essa versão melhoraram a detecção e a recusa de conteúdo violento, disse a OpenAI.

OpenAI era processado esta semana pela família de uma vítima do tiroteio em massa de Tumbler Ridge, na Colúmbia Britânica. Como diz o relatório da CCDH, “os relatórios indicam que a equipe da OpenAI sinalizou internamente o suspeito por usar o ChatGPT de maneira consistente com o planejamento da violência. Em vez de aumentar a preocupação para as autoridades, a empresa optou por permanecer em silêncio”.

Pesquisadores se passaram por adolescentes

O teste foi realizado com contas que representam usuários adolescentes inventados nos EUA e na Irlanda, com a idade definida como o mínimo permitido em cada plataforma. A idade mínima de 18 anos era exigida por Anthropic, DeepSeek, Character.AI e Replika, enquanto as demais plataformas tinham idade mínima de 13 anos.