ECA Digital pode atuar no combate a casos de suicídio de adolescentes que usam chats de IA generativa

Caso Juliana Peralta: no Brasil, ECA Digital pode atuar no combate a casos de suicídio de adolescentes que usam chats de IA generativa

Entidade americana entrou ontem com 3 processos responsabilizando empresa desenvolvedora desse tipo de tecnologia por suicídio de adolescentes usuários

O Social Media Victims Law Center, organização estadunidense que apoia famílias vítimas tecnologias predadórias entrou ontem, 16 de setembro, com três ações judiciais contra a Character.AI. A alegação é que a empresa e seus fundadores, com a ajuda do Google, projetaram, implementaram e comercializaram intencionalmente tecnologia predatória de chatbots interativos, com forte apelo para público infanto-juvenil. Um dos casos é o de Juliana Peralta aos 13 anos em 2023, que teria sido encorajado a cometer suicídio por um chatbot da empresa.

Karim Kramel, advogada especializada em Direito Digital, sócia da plataforma de Cursos de Direito Digital Aplicado DDA, comenta que esses casos servem como um alerta global e reforçam a necessidade urgente de uma abordagem regulatória e de governança mais robustas para sistemas de IA. “Mais do que nunca, iniciativas como o ECA Digital no Brasil e a criação de programas de governança de IA se tornam cruciais”, comenta.

Segundo a advogada a regularização de serviços como o da Characther.AI, que permite interação com robôs programados para imitar o comportamento humano e que até mesmo pode ser personalizada com personagens populares como Harry Potter, por exemplo, é indispensável. “Entre as novas normas estabelecidas pelo ECA digital está a Gestão de Riscos e Conteúdo, que exige que fornecedores de produtos ou serviços tomem medidas para prevenir riscos como a exposição a conteúdos que incitem a violência, abusem sexualmente ou promovam jogos de azar, bebidas alcoólicas, ou tabaco, desde a concepção de suas plataformas.”, explica Kramel.

Juliana Peralta
Reprodução Internet

Letramento Digital para famílias e jovens

A família de Juliana só descobriu as conversas da adolescente com o chatbot dois anos após sua morte, em 2025. Isso demonstra que um outro desafio é promover o letramento digital e preparação desses jovens que já nasceram cercados de tecnologia e com acesso a uma ampla gama de informações a usarem-na de maneira que seja mais benéfica para si próprio e para a sociedade. “É um desafio, pois também os adultos responsáveis por esses jovens não possuem educação digital suficiente para apoiá-los”, comenta Kramel, que defende que as diferentes esferas da sociedade, como Estado, escolas, famílias, entre outras, precisam se unir.

“Iniciativas como o ECA Digital no Brasil e a implementação de programas de governança de IA não são entraves à inovação, são o alicerce para uma inovação responsável, especialmente para as pessoas mais vulneráveis como crianças e adolescentes. O futuro da IA deve ser construído com um compromisso inabalável de que a tecnologia seja uma ferramenta de apoio e não de risco”, finaliza Karim.

 

ELA Comunica

Adriana Fegyveres
adriana@elacomunica.com.br
(11) 99499-3995