Linux Foundation descobre que 25% dos pull requests recebidos são “AI slop”

Linux Foundation descobre que 25% dos pull requests recebidos são “AI slop” - Foto
Fonte da notícia: Adrenaline Adrenaline

Mantenedores de código aberto reclamavam há meses, e a Linux Foundation pôs número na queixa. Um em cada quatro pull requests que chegam aos projetos de código aberto é “AI slop”, o lixo que a inteligência artificial gera.

Em projetos grandes, a fatia sobe para 31%…Os dados vêm de uma pesquisa com 234 contribuidores e mantenedores, publicada nesta terça-feira (20) na conferência All Things Open, em Raleigh, nos Estados Unidos, e patrocinada pela Red Hat, com apoio de Futurewei, OpenSSF e LF AI & Data.

O relatório se chama Navigating Open Source Software Development in the Generative AI Era, e a conclusão tem (obviamente) dois lados: a IA generativa corta pela metade o tempo de escrever código, mas joga o custo da triagem em cima de quem mantém o projeto.

O que a pesquisa da Linux Foundation mediu

Bom, primeiro, vamos falar do volume. 59% dos mantenedores dizem que o número de contribuições cresceu desde que a IA generativa se popularizou.

Entre os projetos grandes, 69%. Só que 25% do que chega é considerado de baixa qualidade, e a estimativa sobe para 31% nos projetos maiores, justamente os que têm mais gente para revisar e, mesmo assim, não dão conta.

Divulgação/Linux Foundation

Agora, a porta de entrada: 71% dos mantenedores concordam que a IA reduziu a barreira para participar de um projeto. Mas 53% discordam de que ela tenha melhorado a confiança dentro da comunidade. Em outras palavras, mais gente entra, e menos gente confia no que entra.

Não há como negar que existe ganho real de produtividade, visto que os respondentes estimam reduções de tempo em todas as seis atividades medidas, de 19% nas discussões de propostas a 52% na escrita de código. Mantenedores economizam de 25% a 40% em discussões técnicas e revisões de propostas. Em tarefas de alta complexidade, porém, 21% dizem que a IA fez o trabalho demorar mais.

Tempo poupado volta para o projeto, que é onde 66% dizem usar a folga para pagar dívida técnica, 63% para criar funções novas e 58% para estudar.

Divulgação/Linux Foundation

Só 35% dos projetos têm política para IA

Apenas 35% dos projetos têm uma política formal que permite o uso de IA generativa. Outros 32% não têm política nenhuma e não planejam ter.

Do lado de quem contribui, 61% dizem revisar em detalhe e testar o código gerado antes de enviar, mas a declaração de uso de IA segue inconsistente.

“Projetos open source precisam se preparar para contribuidores movidos a IA, não só reagir a eles.” Hilary Carter, vice-presidente sênior de pesquisa da Linux Foundation

Hilary Carter, vice-presidente sênior de pesquisa da Linux Foundation, assina o estudo. Foto: Divulgação/Linux Foundation

Carter defende três coisas. Expectativas claras sobre o uso de IA, responsabilidade de teste e de declaração nas mãos de quem envia o código, e ferramentas melhores para o mantenedor filtrar o que recebe. A mentoria também divide opiniões, pois 46% acham que a IA aumentou a necessidade de orientar novatos, contra 32% que acham o contrário.

Torvalds e o curl já tinham avisado

Nada disso surpreende quem acompanha a cena. Em maio, Linus Torvalds reclamou do slop em relatos de bugs do kernel.

O projeto curl, de Daniel Stenberg, passou a exigir que quem reporta uma falha declare se usou IA, depois de meses recebendo relatos inventados. Em vários projetos, o debate sobre como regular o código que sai da máquina virou briga pública.

Linus Torvalds. Foto: Beraldo Leal/Wikimedia Commons (CC BY 2.0)

As recomendações do relatório seguem essa linha, sem surpresa. Política escrita para contribuições assistidas por IA, exigência de transparência, teste e documentação antes do envio, e padronização da atribuição.

A Linux Foundation pede que as comunidades tratem governança, verificação e confiança como infraestrutura, não como detalhe. O estudo completo está no site da fundação, em PDF.

Leia também:

Nem mesmo a Microsoft recomenda o Github Copilot para seus desenvolvedores

GitHub vai treinar modelos de IA com dados dos usuários do Copilot e vai compartilhar com a Microsoft

Ubuntu revela plano de IA sem integração forçada, mas sem “kill switch”

Quem paga pelo ruído do código gratuito?

A IA barateou a produção de código e encareceu a revisão, que continua sendo trabalho humano e, na maior parte dos projetos, voluntário. Cada “pull request ruim” consome minutos de um mantenedor que não recebe por isso.

Para Mark Collier, gerente-geral de IA e infraestrutura da fundação, o investimento em ferramentas de IA precisa vir junto com investimento em mantenedores, mentoria e confiança.

A pesquisa não mede quantos mantenedores desistiram por causa da enxurrada. Esse talvez seja o próximo número a aparecer.

Fonte(s): Linux Foundation (comunicado), Linux Foundation Research (relatório em PDF) e TechPowerUp

Conteúdo Relacionado

Qualidade é melhor que quantidade

Linus Torvalds alerta para slop de IA na geração de reports de bugs no Linux

Compartilhar: WhatsApp Facebook Telegram X

Deseja ler a íntegra original na fonte jornalística?

Acessar matéria no site Adrenaline