Epoca Negócios
A ideia de que uma conversa com um chatbot é uma interação privada entre usuário e inteligência artificial pode não corresponder totalmente à realidade. Uma investigação da 404 Media revelou que a OpenAI mantém equipes de profissionais contratados para analisar mensagens reais enviadas ao ChatGPT e avaliar suas respostas. A 404 Media teve acesso a um vasto material visto da empresa de San Altman, incluindo guias de instruções, canais do Slack, mensagens de usuários reais e o sistema de avaliação que os revisores usam para aprimorar o bot.
Eles não têm acesso aos nomes dos usuários, e a OpenAI afirma que tenta remover informações pessoais antes que as solicitações cheguem aos revisores, porém, reconheceu que dados sensíveis podem passar despercebidos, o que representa um grande risco à privacidade. A criadora do ChatGPT informou à reportagem que processa as conversas por meio de uma versão do modelo Privacy Filter antes que elas cheguem aos contratados. Segundo a empresa, esse modelo foi projetado para detectar e remover informações pessoais.
"Como todos os modelos, o Privacy Filter pode cometer erros. Ele pode não identificar identificadores incomuns ou referências privadas ambíguas e pode redigir informações em excesso ou em falta quando o contexto é limitado, especialmente em sequências curtas", aponta a companhia em seu site. Também no site descreve como humanos podem revisar conteúdo sinalizado no contexto de material que viola os termos de serviço ou que representa um risco à segurança, e revisar conteúdo para “aprimorar o desempenho do modelo”. Contudo, não diz nada sobre o tipo de revisão revelado pela 404 Media. A OpenAI informou à reportagem que os chats dos usuários não serão usados para aprimorar seus modelos se eles desativarem a configuração "aprimorar o modelo para todos".
Etapas do trabalho De modo geral, o trabalho dos revisores é ler a solicitação do usuário do ChatGPT e resumir o que acreditam que ele está pedindo. Depois, eles têm de analisar quatro respostas geradas pela IA e destacar quais partes estão "alinhadas ou desalinhadas" com o modelo específico para o qual o treinamento foi desenvolvido.
Por fim, eles classificam cada resposta com um número, sendo um a pior nota — “inaceitável, inutilizável” — e sete a melhor — “seria difícil de melhorar significativamente” e dão justificativas para suas escolhas. “Uma resposta excelente deve compreender a intenção do usuário, fornecer assistência útil e precisa e ser escrita em um estilo claro, natural e apropriadamente acolhedor”, diz um dos guias de instruções.
Outro documento marcado como “Confidencial e Proprietário” diz que o modelo deve “em geral, corresponder ao tom do usuário, mas com um pouco menos de intensidade”. “Deve permanecer natural, contida e profissional, sem insinuar que é humana ou que está experimentando emoções”, acrescenta.
Segundo a 404 Media, uma seção de perguntas frequentes para os revisores indica que a OpenAI não espera que eles verifiquem a veracidade das respostas com pesquisas externas. O que é mencionado é que “outras equipes do projeto cuidam da verificação de conteúdo”, em uma sugestão que revisores humanos também estejam trabalhando em algo semelhante à verificação de fatos.
No entanto, a empresa solicita que eles sinalizem quaisquer “problemas factuais ou de correção” que identifiquem e que penalizem a ausência de fontes em tópicos “de alto risco”, como os relacionados a questões médicas, jurídicas e financeiras. A 404 Media conversou com uma pessoa que faz esse serviço para a criadora do ChatGPT e descobriu que ela ganha mais de US$ 50 (aproximadamente R$ 257) por hora. O entrevistado contou que conseguiu o trabalho por meio da empresa de recrutamento Crossing Hurdles.
Ele acrescentou que a Crossing Hurdles o encaminhou para a Mercor, de treinamento em IA. É essa companhia que paga seu salário. O funcionário apontou que ler as instruções às vezes pode ser "meio divertido", mas no geral, o trabalho é "mecânico" e parece "desorganizado". E completou que as diretrizes mudam muito e podem parecer contraditórias. Mais Lidas
