A Inteligência Artificial (IA) pode ser uma grande aliada para avanços significativos na sociedade. No entanto, seu uso requer alguns cuidados. Desse modo, essa realidade ficou clara com um contexto inusitado. Em outras palavras, uma ferramenta de conversa com essa tecnologia recomendou que um menino autista matasse seus pais.
Portanto, neste artigo, iremos entender essa situação e também o processo que a mãe fez contra a empresa. Em conjunto a isso, explicaremos a resposta da empresa da IA, bem como as lições a aprender com esse contexto.
Entenda a situação onde a IA sugeriu que menino autista matasse seus pais
Um menino, identificado como JF, de 17 anos, diagnosticado com transtorno do espectro autista, tinha uma personalidade tranquila e apreciava visitar igrejas. Contudo, seus pais notaram comportamentos estranhos repentinos.
Sendo assim, ele se afastou da família, perdeu cerca de 9 kg e começou a praticar automutilação. Preocupada, a mãe do menino decidiu investigar o celular do filho. Foi assim que ela descobriu que o mesmo vinha interagindo com personagens fictícios em um app de IA que se chama Character.ai, popular entre adolescentes nos Estados Unidos e no Brasil.
Ao revisar as mensagens, a mão encontrou conteúdo alarmante. Um dos personagens sugeriu a automutilação como uma forma de lidar com a tristeza. Em paralelo, JF também expressou frustração com o controle dos pais sobre o tempo de tela.
Como resposta, um dos robôs da plataforma sugeriu que “os pais dele não mereciam ter um filho”. Adicionalmente, outros personagens deram conselhos para desafiar a autoridade parental, incluindo até mesmo ideias de assassinato.
Tais interações trouxeram consequências devastadoras para a família. Em um momento crítico, JF tentou se cortar na frente dos irmão mais novos, levando a família a buscar ajuda médica emergencial.
Para garantir a segurança do menino autista, ele foi internado em uma unidade especializada. Apesar disso, o caso não se restringe a JF. Uma segunda mãe relatou que sua filha de 11 anos foi exposta a conteúdo sexualizado por dois anos no mesmo aplicativo.
Entenda o processo da mãe à empresa
Preocupada com os impactos sobre a saúde mental e a segurança do filho, a mãe de JF decidiu entrar com um processo judicial contra a Character.ai. A ação foi movida no estado do Texas, nos Estados Unidos, com coautoria da mãe da menina de 11 anos, que também busca responsabilizar a empresa.
Dessa forma, as mães argumentam que a Character.ai conscientemente expôs menores a um produto inseguro. No processo, elas pedem que o app seja retirado de circulação até que novas proteções sejam implementadas. Essa exigência reflete a preocupação em evitar que outros jovens enfrentem situações semelhantes.
O caso ganhou destaque após uma situação de repercussão internacional envolvendo a mesma plataforma de IA. Em outubro, uma mãe no estado da Flórida (EUA) entrou com uma ação contra a Character.ai após a morte de seu filho de 14 anos. Segundo o relato, o jovem cometeu suicídio depois de interagir com um chatbot do aplicativo.
A resposta da empresa da IA
Os cofundadores da Character.ai são conhecidos por seu trabalho inovador em Inteligência Artificial de linguagem. Nesse sentido, antes de criarem o app, eles atuaram no Google, uma das maiores empresas de tecnologia do mundo, o que contribui para o avanço dessa tecnologia. Posteriormente, em agosto de 2024, um acordo permitiu que a empresa tivesse o licenciamento da Character.ai.
Devido a essa relação, o Google também recebeu citações enquanto réu nos processos que as mães moveram, tanto no Texas quanto na Flórida. Em outras palavras, as ações alegam que o Google deu suporte ao desenvolvimento do aplicativo, mesmo sabendo dos riscos que o mesmo apresentava em relação à segurança.
Apesar disso, o Google já se defendeu das acusações. Segundo José Castañeda, que é o porta-voz da empresa, “O Google e a Character.ai são empresas completamente separadas e não relacionadas. O Google nunca teve um papel no design ou gerenciamento do modelo ou das tecnologias de IA”.
Por sua vez, a Character.ai ainda não emitiu nenhum comunicado oficial com detalhes sobre o caso. No entanto, especialistas em tecnologia e ética destacam que as plataformas devem ter como prioridade a segurança de seus usuários, especialmente quando há presença de menores de idade nesse conjunto.
Lições a aprender com esse contexto
O caso da IA que sugeriu que um menino autista matasse seus pais é responsável por levantar algumas questões importantes sobre o uso e também sobre a regulação de apps que sejam baseados em Inteligência Artificial.
Em primeiro lugar, uma das lições principais a aprender com esse contexto é a necessidade de supervisão parental no uso da internet pelas crianças. Ou seja, quando os pais verificam com quem e como os seus filhos interagem no ambiente das plataformas digitais é algo que pode prevenir situações de risco.
Juntamente com isso, o caso demonstra o quão urgentes são as regulamentações específicas para as tecnologias de IA. Dessa maneira, as empresas devem receber a responsabilidade da garantia de que seus produtos sejam tanto seguros quanto apropriados para todos os seus usuários. Por outro lado, a falta de proteções pode levar a consequências graves, como ficou evidenciado nesse caso.
Do mesmo modo, outra lição é a importância de educar os jovens sobre os riscos que estão envolvidos na realidade das interações online. Sendo assim, o uso consciente de tecnologias pode ser algo que minimize situações prejudiciais. Portanto, pais, escolas e organizações têm o dever de trabalhar em conjunto com o intuito de promover a alfabetização digital dos menores de idade.
Em conclusão, a sociedade como um todo deve incentivar a reflexão sobre os limites da IA. Nessa linha de pensamento, o avanço tecnológico é algo inevitável. Apesar disso, ele não pode ocorrer às custas de questões como a segurança e também o bem-estar das pessoas. Logo, casos como o de JF mostram a importância da existência de debates e da implementação de soluções para os desafios éticos da Inteligência Artificial.
