NVIDIA Vera Rubin Maxima Inteligência por Dólar para Trabalhos Pós-Treinamento

Imagine um profissional de alto nível. Qual é o elemento que diferencia atletas excepcionais? É exatamente o que acontece entre jogos: uma continuidade de refinamento contínuo, ajustando-se a novos adversários e aprimorando habilidades com base no que o jogo anterior revelou.

O agente AI funciona da mesma forma. Um modelo não é mais solicitado para uma resposta. É dado uma meta e precisa continuar se adaptando enquanto os ambientes mudam, casos marginais emergem e herramientas são alteradas. Diferente de um modelo de geração respondendo a uma solicitação, o modelo agente deve planejar, usar ferramentas diferentes e recuperar-se de problemas que encontram no meio do caminho.

Essa é a razão pela qual a etapa de pós-treinamento, que refina um modelo após o treinamento inicial nos dados brutos, já não é mais um passo único de conclusão. É contínuo porque o ambiente em que os modelos agente operam muda rapidamente. Ferramentas que os agentes usam podem mudar na semana em que é utilizada. Casos marginais surgem na produção e ainda não foram previstos pelo conjunto de testes. Cada aplicação traz seu próprio código, políticas de utilização e ambiente.

Execuções de pós-treinamento fazem loop de volta na produção enquanto novos problemas surgem. A pérgula computacional aumenta e não porque algum treinamento em si próprio é maior, mas porque os treinamentos nunca param. O agente AI apresenta um novo padrão de computação para treinamentos pós- inicial e torna-se o principal motor da infra-estrutura para máxima inteligência por dólar do período.

De acordo com o CEO dessa empresa, a meta de treinar é maximizar a inteligência por dólar, maximizar o potencial de cada passada de frente e de trás no ciclo contínuo de aprendizagem. A passada da frente — iniciação — é medida pelo preço por token. Isso significa que cada melhoria ao preço por token tem direito a fluir diretamente na inteligência por dólar.

Agora, a etapa de pós-treinamento é onde a inteligência é construída. No treinamento prévio, o modelo aprende prever a próxima palavra, o que lhe confere linguagem sem inteligência; na pós-treinamento, aprende escrever código, fazer planos, usar buscadors e recuperar-se quando algo deu errado. A iniciação é o momento após, quando o modelo está executando o serviço no seu ambiente de trabalho, com seu preço sendo o de tokens por cada trabalho.

Agora, com apenas um resumo da recompensa, o modelo aprende com as técnicas de Aprendizado por recompensa(RL), quando dadas uma meta, escreve um conjunto de tentativas — a passada da frente - com trabalho idêntico àquela que já está em produção. A tentativa é avaliada, e o modelo de aprendizagem atualiza as suas próprias pesadas - passada trás - após todos os milhões de tentativas, a inteligência cresce.

Cada passagem tem bastante computacional e correr esse loop em escalas é um problema de orquestração: em meio a milhares de ambientes de trabalho, gerando tentativas paralelas e os resultados são verificados com pesadas atualizadas a serem enviados na volta para o treinamento com todos os aceleradores utilizados ao seu máximo.

Assim, as bibliotecas NVIDIA NeMo abertas como NeMo RL para pós- treinamento distribuído faz com que os treinos de pós-treinamento passem da codebesse à infra-estrutura repetível e escalável a longo prazo.