Epoca Negócios
Antes de liberar uma nova versão de seus agentes de atendimento, o Nubank passou a colocá-la para conversar com milhares de clientes que não existem. Esses “clientes sintéticos” simulam diferentes perfis, pedidos e comportamentos para ajudar o banco a encontrar problemas antes que o sistema seja colocado no ar para usuários reais.
Com o novo processo, o tempo médio dedicado ao desenvolvimento de cada versão caiu de 21,2 para 4,4 dias, segundo um artigo publicado pelo time de pesquisa em IA do Nubank. O estudo acompanhou a transição entre dois agentes usados no atendimento sobre cartões.
O primeiro respondia principalmente a dúvidas sobre entrega e emissão de segunda via. Seu sucessor passou a realizar outras tarefas, como atualizar o endereço do cliente.
No ciclo anterior, dez versões do agente foram desenvolvidas ao longo de 212 dias. Com as simulações incorporadas ao trabalho, a equipe produziu cinco versões do novo sistema em 22 dias.
Clientes fictícios, conversas completas Em vez de depender apenas de cenários escritos manualmente, o Nubank passou a simular conversas com várias etapas.
Os clientes sintéticos fornecem informações, reagem às respostas e conduzem o agente por diferentes caminhos dentro do atendimento. Cada alteração começa com uma hipótese e um resultado esperado.
Se uma versão não apresenta melhora nas conversas simuladas, ela pode ser revista ou descartada sem ser exposta ao público. Foi nesse ambiente que a equipe desenvolveu o Card Management, agente que reúne diferentes tarefas relacionadas ao cartão de crédito.
A versão escolhida nas simulações reduziu encaminhamentos desnecessários ao atendimento humano e seguiu para um teste com clientes reais. Nesse experimento, mais conversas foram concluídas sem a participação de um atendente, e a satisfação dos usuários superou a registrada pelo agente anterior.
Os resultados combinam o novo processo de desenvolvimento com a ampliação das tarefas que o sistema consegue executar. Depois do teste, o Card Management foi disponibilizado aos clientes do Nubank no Brasil.
Qwen foi escolhido em 16 mil conversas Os clientes sintéticos também foram usados para selecionar o modelo de inteligência artificial que opera por trás do atendimento.
A equipe comparou 29 configurações em mais de 16 mil conversas, combinando diferentes modelos, níveis de raciocínio e formatos de resposta. O escolhido foi uma versão do Qwen, sistema de pesos abertos que pode ser utilizado e adaptado por outras empresas.
Durante as simulações, o Nubank identificou uma deficiência no modo como o modelo conduzia determinadas tarefas e ajustou suas instruções antes de testá-lo com pessoas reais. No teste seguinte, o Qwen ampliou o autoatendimento em quase 9 pontos percentuais e reduziu em 25% o tempo de resposta nas interações mais lentas.
A satisfação dos clientes permaneceu estatisticamente estável. O método não exige que os clientes sintéticos reproduzam perfeitamente o comportamento humano.
A equipe os utiliza como um filtro para ordenar alternativas, revelar falhas e decidir quais versões devem avançar para experimentos reais. A simulação também tem uma fronteira.
Ela reproduz as respostas dos sistemas internos acionados pelo agente, mas não alcança a infraestrutura real do banco. Tempos de resposta, manutenção de informações e efeitos concretos de cada operação continuam sendo verificados nas etapas posteriores.
O Nubank agora pretende ampliar o ambiente para simular também o comportamento desses sistemas internos, aproximando o teste do percurso completo de uma solicitação feita por um cliente. Mais Lidas
