Techtudo
Quando um chatbot inventa uma informação, o problema costuma ficar restrito à resposta exibida na tela. Com um agente de inteligência artificial (IA), o impacto pode ser bem maior. Dependendo das permissões concedidas, o sistema pode enviar e-mails, alterar cadastros, excluir arquivos ou até movimentar dinheiro sem precisar de um novo comando humano a cada etapa. A diferença está no grau de autonomia. Em vez de apenas responder a uma pergunta, o agente recebe um objetivo e pode decidir quais passos seguir para concluí-lo, usando ferramentas e sistemas aos quais tenha acesso. Isso amplia as possibilidades de automação, mas também aumenta o risco quando algo sai do esperado. Mas quem responde por um erro cometido por esse tipo de sistema? Uma pesquisa encomendada pela plataforma de nuvem Avalara a 1.505 CFOs e líderes financeiros mostra que 23% não saberiam apontar um responsável diante de uma falha grave. Para entender estes riscos, o TechTudo ouviu o professor e pesquisador em IA generativa, Rodrigo Rios de Larrazábal. A seguir, veja como os agentes de IA funcionam, por que a autonomia exige mais controle e quem pode ser responsabilizado quando a tecnologia erra. 🔎Além do Google: 5 ferramentas de IA para fazer pesquisas na web ➡️Canal do TechTudo no WhatsApp: acompanhe as principais notícias, tutoriais e reviews 🔎Cinco vezes em que inteligências artificiais erraram feio Aplicativos de inteligência artificial generativa, como ChatGPT, Grok, Gemini e Meta AI, instalados em um smartphone Salvador Rios/Unsplash 📱Comparador de celulares do TechTudo: analise preços, ficha técnica e recursos 📝 É possível criar uma inteligência artificial em casa? Tire dúvidas no Fórum do TechTudo Índice O que é um agente de IA? Por que a autonomia aumenta o risco? O que a pesquisa da Avalara fala? Afinal, quem responde quando um agente de IA erra? Aprovação humana é suficiente? Prompt injection e excesso de acesso: quais são os principais riscos? Que tarefas não devem ser entregues a agentes sem supervisão? Que tarefas não devem ser entregues a agentes sem supervisão? 1. O que é um agente de IA? Um agente de IA é um sistema que recebe um objetivo e pode definir os passos necessários para chegar ao resultado. Para isso, ele combina um modelo de inteligência artificial com ferramentas, memória, integrações e permissões de acesso. Dependendo de como foi configurado, o agente pode navegar na Internet, consultar documentos, acessar bancos de dados e interagir com programas usados por uma empresa. Esse tipo de recurso já aparece em serviços de IA conhecidos do público, que passaram a oferecer modos capazes de executar tarefas em várias etapas, como pesquisar informações na Web, preencher formulários, trabalhar com arquivos ou usar ferramentas conectadas. ChatGPT, da OpenAI, e Gemini, do Google, estão entre as plataformas que incorporaram recursos desse tipo, enquanto serviços como o Manus foram desenvolvidos com foco justamente na execução autônoma de tarefas. Claude Code é um agente de IA para programação Divulgação/Claude.AI Isso significa que o sistema não precisa receber um novo comando humano a cada etapa. “Um agente pode receber um objetivo, selecionar ferramentas, definir etapas intermediárias e ajustar seu percurso sem que uma pessoa determine cada ação. Isso representa autonomia operacional, mas não significa consciência, vontade própria ou independência em relação às decisões humanas”, explica Larrazábal. Segundo o pesquisador, é mais preciso falar em uma autonomia “delegada e limitada”. Isso porque são pessoas e organizações que definem quais dados o agente pode consultar, quais ferramentas ficam disponíveis e quais ações ele está autorizado a executar. Ou seja, o sistema pode tomar decisões por conta própria, mas somente dentro dos limites definidos por humanos. Claude: 5 funções da IA que você ainda não usa, mas deveria 2. Por que a autonomia aumenta o risco? Ao contrário de um sistema que apenas segue uma sequência pré-definida, um agente de IA pode ajustar o caminho conforme avança na tarefa. Cada etapa depende dos dados encontrados, das respostas obtidas pelas ferramentas e das decisões tomadas anteriormente. Por isso, um erro no início do processo pode se espalhar pelas etapas seguintes. O agente pode, por exemplo, inventar uma informação e considerá-la verdadeira.
A partir daí, pode escolher uma ferramenta inadequada ou executar outras ações com base naquele dado incorreto. O resultado é uma sequência que parece lógica para o sistema, mas que parte de uma premissa falsa. Esse risco cresce quando o agente recebe tarefas mais abertas e acesso a um número maior de fontes, ferramentas e serviços. Quanto mais possibilidades existem durante a execução, mais difícil é prever de antemão todos os caminhos que o sistema pode seguir. “É possível reduzir bastante essa incerteza com fluxos mais restritos, testes, validações e limites externos ao modelo. O que não é realista é imaginar que todas as combinações possíveis serão antecipadas antes da implantação”, afirma Larrazábal. 3 melhores inteligências artificiais para criar e editar vídeos 3. O que a pesquisa da Avalara fala? A pesquisa da Avalara ouviu 1.505 CFOs e outros líderes financeiros de empresas dos Estados Unidos, Reino Unido, Índia e Austrália que já haviam implantado, testado ou avaliado agentes de IA em processos financeiros. O levantamento mostra que a adoção da tecnologia avança mais rápido do que os mecanismos de controle dentro das empresas. Segundo os dados, 92% dos entrevistados dizem sentir pressão para demonstrar retorno sobre os investimentos em agentes de IA, enquanto metade afirma que os resultados mensuráveis ainda são limitados. Além disso, 71% dizem que a prioridade está na velocidade de implantação, e apenas 7% afirmam que suas empresas colocam a governança em primeiro lugar. Pesquisa da Avalara analisou a adoção de agentes de IA por líderes financeiros e apontou falhas de governança e definição de responsabilidades Divulgação/Avalara Os controles internos também não acompanharam esse ritmo em todas as organizações. Três em cada dez empresas não atualizaram suas regras no último ano para considerar situações em que agentes de IA executam ou recomendam ações, e 44% dizem ter apenas confiança moderada de que conseguiriam explicar o comportamento desses sistemas a um auditor ou órgão regulador. Outro dado chama atenção para a divisão de responsabilidades. Quase um em cada quatro participantes, ou 23%, afirma que, diante de um erro grave cometido por um agente de IA, a responsabilidade seria incerta ou não recairia sobre nenhuma pessoa ou equipe específica. O levantamento também mostra que 76% das organizações não contam com especialistas internos dedicados a entender como esses agentes funcionam. 5 inteligências artificiais que você ainda não conhece, mas deveria testar 4. Afinal, quem responde quando um agente de IA erra? A responsabilidade por um erro cometido por um agente de IA não recai sobre a própria tecnologia. O sistema não é uma pessoa e, portanto, não pode responder sozinho por um dano. Para entender quem pode ser responsabilizado, é preciso reconstruir a cadeia que permitiu a ação: quem contratou a ferramenta, quem definiu as regras, quais acessos foram liberados e quem deveria supervisionar o processo. Dependendo do caso, essa análise pode envolver a empresa que utiliza o agente, o fornecedor da tecnologia, a equipe responsável pela integração e os profissionais que aprovaram a operação. A resposta também varia conforme o contrato, o setor e o tipo de prejuízo causado. Como explica Larrazábal, identificar onde ocorreu a falha técnica é apenas uma parte do problema. “O modelo pode integrar a cadeia causal, mas não pode ser usado como um lugar para onde a empresa transfere toda a responsabilidade”, afirma o pesquisador. Em resposta ao TechTudo, a Avalara também defende que a divisão de responsabilidades seja definida de forma clara entre as partes envolvidas. “A responsabilidade deve ser compartilhada e explícita: a empresa é responsável pelos resultados; os fornecedores devem se comprometer contratualmente com precisão, auditabilidade e controles”, afirma a empresa. Na pesquisa, 23% dos entrevistados disseram que a responsabilidade por um erro grave seria pouco clara, enquanto 22% apontaram o fornecedor, 20% o indivíduo envolvido, 19% a equipe e 16% o executivo responsável pela aprovação. No Brasil, o uso de agentes de IA não elimina as obrigações previstas nas leis já existentes. Se houver tratamento indevido de dados pessoais, por exemplo, entram em cena as regras da Lei Geral de Proteção de Dados (LGPD), que define responsabilidades para agentes como controlador e operador. Dependendo da situação, também podem valer normas de consumo, contratos, regras trabalhistas e regulações específicas de cada setor. Além disso, o Projeto de Lei 2.338/2023, que propõe um marco legal para o uso de inteligência artificial no país, ainda está em tramitação na Câmara dos Deputados. Por isso, hoje, a responsabilização depende principalmente das regras já existentes e das circunstâncias de cada caso. Testamos 3 IAs que organizam seus gastos: vale a pena trocar a planilha? 5. Aprovação humana é suficiente? Exigir que uma pessoa aprove uma ação antes que o agente de IA a execute pode reduzir riscos, mas isso não resolve o problema sozinho. A supervisão só funciona quando o responsável entende o que está sendo autorizado e tem condições reais de interromper ou corrigir a operação. O problema é que essa aprovação pode virar apenas uma formalidade. Se o funcionário recebe dezenas de alertas semelhantes, não conhece os dados usados pelo sistema ou está sob pressão para decidir rapidamente, há o risco de simplesmente aceitar a recomendação da IA sem analisá-la de fato Aplicativos de inteligência artificial, como Gemini, DeepSeek, Claude e ChatGPT Reprodução/Unsplash Esse comportamento é conhecido como viés de automação, quando as pessoas passam a confiar demais em decisões tomadas por sistemas automatizados. Para Larrazábal, uma aprovação efetiva precisa mostrar exatamente o que será feito, em qual sistema, com quais dados e quem pode ser afetado. O responsável também deve ter tempo, conhecimento e autoridade para recusar a ação. “Um humano na tela não é necessariamente controle humano”, resume o pesquisador. Em operações de maior impacto, como pagamentos, exclusão de dados ou alterações em sistemas críticos, a revisão humana também deve ser acompanhada por barreiras técnicas. Entre elas estão limites de valor, restrições de acesso, destinatários previamente autorizados e mecanismos que permitam interromper ou desfazer uma ação caso algo dê errado. IA para desabafar? 5 recursos do chatbot Pi que você deveria conhecer 6. Prompt injection e excesso de acesso: quais são os principais riscos? Um dos principais riscos envolvendo agentes de IA é a chamada injeção de prompt (prompt injection), ataque em que uma instrução maliciosa é escondida em um conteúdo que o sistema precisa analisar. Ela pode aparecer em um e-mail, documento, página da Internet ou até no resultado fornecido por outra ferramenta. O agente pode interpretar essa ordem como legítima e executá-la mesmo que o usuário nunca tenha solicitado aquela ação. Um exemplo seria um e-mail com uma instrução oculta para procurar informações internas da empresa e enviá-las para um endereço externo. Em uma IA que apenas gera texto, a manipulação pode resultar em uma resposta incorreta. Já um agente com acesso a ferramentas e sistemas corporativos pode transformar o ataque em uma ação concreta, como vazar dados, alterar arquivos ou enviar mensagens sem autorização.🎥 Um caso ocorrido no Pará ajuda a mostrar como esse tipo de manipulação funciona na prática. Duas advogadas foram multadas após inserirem comandos ocultos em uma petição que seria analisada por um sistema de IA usado pelo Judiciário. As instruções, escondidas em texto branco sobre fundo branco, tentavam induzir a ferramenta a fazer uma leitura superficial do documento e favorecer determinados pontos da argumentação. O sistema Galileu identificou a tentativa de manipulação, e o juiz responsável aplicou multa às profissionais. O episódio é um exemplo de injeção de prompt indireta, porque o comando não é enviado diretamente ao sistema de IA, mas colocado dentro de um arquivo que será analisado por ele. Esse formato preocupa porque documentos, PDFs, páginas da Web e outros conteúdos aparentemente comuns podem carregar instruções que passam despercebidas pelo usuário, mas ainda são processadas pelo modelo. Ter acesso simultâneo a e-mails, arquivos, bancos de dados e sistemas internos não é considerado seguro por padrão, segundo Larrazábal. Uma ferramenta pode, por exemplo, encontrar uma instrução maliciosa em uma mensagem, consultar informações confidenciais em um banco de dados e depois enviá-las para fora da empresa. Cada permissão isolada pode ter uma justificativa, mas a combinação delas abre caminho para um vazamento ou outro uso indevido. Por isso, a recomendação é limitar o acesso de acordo com a função de cada agente. Um sistema usado para organizar a agenda, por exemplo, não precisa consultar informações financeiras, enquanto uma ferramenta criada para pesquisar documentos pode funcionar apenas em modo de leitura. Credenciais também devem ser temporárias e restritas à tarefa em execução. Em operações mais sensíveis, a autorização deve depender de uma camada de segurança externa ao próprio modelo, com registro das ações e possibilidade de interrupção. Como fazer foto musculosa? Veja prompts para criar imagens realistas com IA 7. Que tarefas não devem ser entregues a agentes sem supervisão? Tarefas que envolvem dinheiro, direitos, privacidade ou segurança exigem um nível maior de controle e não devem ficar sob responsabilidade de um agente de IA generalista sem supervisão. Segundo o especialista, a atenção deve ser ainda maior quando uma decisão pode causar prejuízo a uma pessoa, comprometer dados sensíveis ou afetar uma operação crítica. Entre os exemplos citados pelo estão: movimentar valores, conceder crédito ou aprovar benefícios; contratar, demitir ou avaliar candidatos de forma definitiva; emitir diagnósticos médicos ou prescrever tratamentos; tomar decisões jurídicas finais ou assumir compromissos; publicar comunicados oficiais em nome de uma empresa; alterar sistemas de produção, permissões ou credenciais; apagar dados em massa ou manipular informações sensíveis. Antes de automatizar uma atividade, Larrazábal recomenda avaliar três pontos: qual seria o impacto de um erro, se a ação poderia ser desfeita e com que rapidez uma falha seria percebida. Quanto maior o prejuízo potencial e mais difícil for reverter a decisão, maior deve ser a participação humana e o número de barreiras antes da execução. Além do Google: 5 ferramentas de IA para fazer pesquisas na web 8. Como usar agentes de IA com mais segurança? O uso mais seguro de agentes de IA começa antes mesmo de a ferramenta entrar em operação. A empresa precisa definir quem será responsável pelo sistema, quais ações ele poderá executar, que dados poderá acessar e quem terá autoridade para interromper seu funcionamento em caso de problema. Também é importante limitar o escopo desde o início. Em vez de liberar acessos amplos, o ideal é começar com tarefas específicas, reversíveis e de baixo impacto. O agente deve ter apenas as permissões necessárias para cumprir aquela função, de preferência com credenciais temporárias e separadas por atividade. Ações como apagar arquivos, movimentar dinheiro, publicar conteúdos ou alterar permissões devem exigir uma autorização adicional. Moltbot (agora OpenClaw) é agente de IA que executa tarefas automaticamente no computador do usuário TechTudo/Késya Holanda Outro ponto essencial é registrar o que o agente fez durante a tarefa. Isso inclui quem iniciou a operação, quais fontes foram consultadas, quais ferramentas foram usadas, quais ações foram executadas e que aprovações humanas aconteceram no processo. Esses registros ajudam a reconstruir uma falha e identificar em que etapa o problema começou. Também é válido revisar informações críticas fora do próprio modelo, manter alertas e limites de uso, testar cenários de falha e revisar os controles depois de cada incidente. Mais do que confiar no comportamento da IA, a segurança depende das barreiras criadas ao redor dela. Antes de liberar um agente para operar com autonomia, a empresa precisa conseguir responder a perguntas básicas: quem pode desligá-lo, quem investiga uma falha e quem responde pelas decisões tomadas durante o uso. Se essas respostas ainda não estão claras, o sistema não está pronto para atuar sozinho. Com informações de Avalara, Google Cloud, IBM, Câmara dos Deputados, ANPD e NIST
🎥 iOS 27: veja todas as novidades sobre o sistema novo da Apple iOS 27: veja todas as novidades sobre o sistema novo da Apple
