Desbordando o gargalo que impedia modelos de linguagem grande de evoluir
A startup Subquadrática saiu do modo stealth com um grande anúncio. Ela anunciou que havia resolvido um gargalo matemático que havia sido um obstáculo para os modelos de linguagem grande durante quase uma década.
Ao desbordar o gargalo, Subquadrática promete aumentar a eficiência
Segundo Subquadrática, ela desenvolveu um novo tipo de modelo de linguagem, chamado de SubQ, que é mais rápido, mais barato e usa menos energia que qualquer outro modelo no mercado. Além disso, SubQ é capaz de processar até 12 vezes mais texto em paralelo que a maioria dos outros modelos, permitindo que ela realize tarefas de dados pesados, como analisar centenas de documentos ou bases de código completas.
Como Subquadrática está revolucionando a área de processamento de linguagem natural
O problema é que os modelos de linguagem atualmente usam uma rede neural chamada transformer, que utiliza o processamento de atenção densa. Isso trava a velocidade dos modelos, pois cada palavra ou token precisa ser processado em paralelo com todos os outros. Além disso, o número de operações aumenta exponencialmente com o tamanho do texto, tornando os modelos extremamente consumidores de energia.
A Subquadrática promete que seu novo modelo SubQ é capaz de processar tarefas de dados pesados em paralelo, sem sacrificar a performance. Ela afirma que seu modelo pode realizar tarefas que levariam horas, segundos, e é mais eficiente do que os modelos atuais.
Conclusão
A Subquadrática está revolucionando a área de processamento de linguagem natural com seu novo modelo SubQ. Com a capacidade de processar tarefas de dados pesados em paralelo, a startup promete aumentar a eficiência e reduzir os custos associados à linguagem natural. Com o objetivo de desbordar o gargalo que impedia modelos de linguagem grande de evoluir, a Subquadrática está se estabelecendo como uma das principais startups de inteligência artificial do momento.
