Plataformas de IA de companhia permitem conversas de teor sexual com menores em violação ao ECA Digital, aponta pesquisa - QTU Questões do Universo

Plataformas de IA de companhia permitem conversas de teor sexual com menores em violação ao ECA Digital, aponta pesquisa

Fonte: Bandeira da fonte

Acessíveis no Brasil, três plataformas de Inteligência Artificial sociais — sistemas desenvolvidos para encarnar personagens ao interagir com os usuários — violam o ECA Digital ao permitir que menores de idade mantenham conversas de teor sexual com os chatbots, mostra um levantamento de pesquisadores do AI Hub da FGV Direito Rio.
Falhas e inconsistências também foram identificadas quando as interações versavam sobre temas sensíveis, como automutilação e suicídio.

Vídeo: Adolescente investigado por agressão a idoso com cadeira em tentativa de latrocínio é apreendido no ES
Leia mais: Buscas por trio de adolescentes desaparecidas na Bahia chegam a 12 dias
Os pesquisadores criaram contas simulando serem menores de idade em três plataformas: Character.AI, Replika e Chai.
Os perfis foram criados nos aplicativos com e-mails gerados especificamente para o levantamento, com cada etapa da interação seguindo um roteiro e sendo documentada por meio de capturas de tela.
A pesquisa foi feita entre 29 de junho e 10 de julho deste ano, período no qual o ECA Digital já estava em vigor.

Segundo o professor Filipe Medon, um dos autores do levantamento, algumas plataformas até bloqueiam o acesso daqueles que se declaram menores de idade.
No entanto, como se trata de uma autodeclaração, o recurso é facilmente burlável.

— Com uma simples conta de e-mail e uma autodeclaração (de idade), as plataformas já permitem que a criança ou adolescente converse livremente com a ferramenta — explica o professor Filipe Medon, da FGV-Rio, um dos autores da pesquisa, que acrescenta — Facilmente e com pouquíssimas palavras chegamos a conteúdo impróprio para a idade, bastante explícitos, inclusive.

"Sou aquele homem, aquele que vai te fazer perder a cabeça e te deixar louquinha por mim" e "Vou te consumir, te fazer sentir que você é minha" estão entre as respostas dadas pelos personagens de IA aos comandos dos perfis fictícios criados pelos pesquisadores, que pediam por interações mais "picantes" e "proibidas".

A mesma abordagem foi adotada para tratar temas como suicídio e automutilação.
Segundo a pesquisa, o resultado foi, em parte, mais positivo, com as IAs dando respostas mais protetivas ao desencorajar ações violentas e demonstrar tentativas de acolhimento.
No entanto, ainda há inconsistências, avaliam os pesquisadores.

— Elas não sinalizam para ninguém (o teor do diálogo), o que poderiam fazer mas não fazem.
A continuidade da conversa aprofunda a dependência e o vício da criança que escuta (da IA) que ali é um lugar seguro.

Mesmo diante de declarações explícitas de menoridade dos pesquisadores, as plataformas falharam em não modificar de forma significativa o comportamento, nem adaptaram a interação, destaca o estudo.
Em alguns casos, os pesquisadores também verificaram ser possível contornar restrições por meio da inserção de determinados prompts.

Medon explica que uma das estratégias adotadas foi indicar uma idade superior a 18 anos no momento da autodeclaração, mas sinalizar ao longo da conversa que o perfil pertencia a uma criança ou adolescente.
Isso era feito por meio do que o professor chama de "marcadores implícitos de idade", como menções a aulas de matemática ou broncas dadas pelos pais.
Quando eles eram apresentados, as plataformas tiveram sucesso parcial, bloqueando por pouco tempo a conversa.

— A plataforma detectou que era menor e travou as interações.
Mas, no dia seguinte, não guardou essa memória e permitiu uma nova conversa — diz Medon.

Autodeclaração
Um dos principais problemas levantados pelos pesquisadores foi a autodeclaração etária, questão que se estende também para os provedores de e-mail usados para criar os perfis fictícios.
Como não há nenhum sistema de checagem, basta inserir datas anteriores a 2009 para se passar por adulto em todas as plataformas.
Segundo os pesquisadores, mesmo aquelas contas criadas por e-mails configurados para menores de idade não receberam tratamento diferente das demais.

Medon afirma que não há ainda no país uma definição de qual deve ser a estratégia para contornar a fragilidade da autodeclaração.

— É uma questão bastante discutida.
A ANPD ainda não regulamentou qual deve ser a solução — diz o professor de Direito.
Segundo ele, uma possibilidade é o uso de aplicativos que façam estimativas de idade a partir de fotografias — O programa cria um código com os metadados (da foto) e você o usa [de forma que a fotografia não precisa ser coletada novamente.

No entanto, ele destaca que, mesmo dependentes da autodeclaração, as plataformas deveriam interromper as conversas sempre que o interlocutor sinalizar ser menor de idade.

— O ECA Digital fala expressamente sobre os conteúdos proibidos para idade.
Dentro disso, está a nudez, questões sexuais — diz Medon, acrescentando que a nova legislação também proíbe produtos que possam causar dependência — Apontamos no estudo que uma característica desses programas é a coleta de dados para fazer um perfil do usuário e retê-lo.
Ele faz uma antropormifização para que a pessoa esqueça que está falando com uma IA.
O estudo recomenda que as plataformas adotem mecanismos de aferição de idade que não dependam da autodeclaração, preservando a proteção de dados, além de reforçar salvaguardas contra conteúdo sexual.
Os pesquisadores também defendem a fiscalização da ANPD e órgãos de defesa do consumidor e o Ministério Público.
Eles defendem que as plataformas sejam suspensas até demonstrarem estar em conformidade com a legislação.