A Nvidia está investindo em um novo modelo de IA, segundo o The Information.
Batizado de Nemotron 4, a expectativa da empresa é que ele tenha desempenho equivalente aos melhores modelos de IA de código aberto do mundo.
Funcionários da big tech disseram à publicação que o projeto contará com a participação de mais de mil pessoas, e que esperam que o Nemotron 4 tenha pelo menos um trilhão de parâmetros, quase o dobro do maior modelo atual da Nvidia, o Nemotron 3 Ultra, lançado em junho.
Embora um trilhão de parâmetros seja menor do que os principais modelos chineses de código aberto, a companhia aponta que as técnicas de compressão podem permitir que tenha um desempenho superior.
Ao The Information, as fontes relataram que os esforços em código aberto têm sido intensificados pela Nvidia porque uma diversidade de modelos abertos estimulará ainda mais a demanda por seus chips.
“A Nvidia está investindo na Nemotron porque acredita que todas as empresas e todos os países precisam de modelos abertos de ponta acessíveis para fortalecer a segurança, acelerar a inovação e fornecer uma base na qual possam confiar de uma geração para a outra”, afirmou Kari Briski, vice-presidente de IA generativa da big tech.
Pessoas familiarizadas com o assunto informaram ainda que a big tech já tomou algumas decisões sobre os dados de pré-treinamento e a arquitetura do modelo de grande porte.
Por outro lado, não definiu as especificações exatas e não realizou a fase final de treinamento, que pode levar meses.
Dois funcionários apontaram que o Nemotron 4 poderia estar pronto no final do outono (no Hemisfério Norte), e outros que poderia ser mais tarde.
Paralelamente a este modelo, a Nvidia lançou na terça-feira (11) o Nemotron 3.5 Lightning em substituição ao Nemotron 3 Nano.
“É o modelo de maior eficiência em sua classe para cargas de trabalho de IA com agentes de longa duração”, salientou em comunicado.
Ela acrescenta que ele foi projetado para tarefas especializadas em sistemas multiagentes de maior porte, e tem combinação de especialistas com 30 bilhões de parâmetros.
Outra novidade é o NeMo Switchyard, uma biblioteca de código aberto para roteamento inteligente dentro de ferramentas de agentes populares.
As empresas podem usá-la para criar um roteador com base em suas necessidades específicas.
“Quando implementado, o NeMo Switchyard pode direcionar de forma inteligente cada solicitação para o modelo mais adequado e eficiente para a tarefa, dentre a combinação de modelos abertos, proprietários e da NVIDIA escolhida pelos desenvolvedores, sem exigir que eles reescrevam seus aplicativos”, completou a big tech.
Mais Lidas