O que é o Nemotron 3.5 Transcribe
A NVIDIA lançou o Nemotron 3.5 Transcribe no Hugging Face, um modelo de transcrição de pesos abertos que vai além da simples conversão de fala em texto. Em um único checkpoint, ele realiza transcrição, diarização (identificação de falantes), tradução e resposta a perguntas sobre o conteúdo do áudio, tudo controlado por instruções em linguagem natural.
A arquitetura combina Mamba e Transformer com mixture-of-experts: o modelo tem cerca de 30 bilhões de parâmetros no total, mas ativa apenas em torno de 4 bilhões por token, o que mantém a eficiência em hardware acessível. Gravações de até uma hora com até oito falantes distintos estão dentro do escopo do modelo.
O Nemotron 3.5 Transcribe alcança 5,33% de Word Error Rate médio em inglês no ranking HuggingFace Open ASR Leaderboard, a menor taxa entre modelos de código aberto. No índice Artificial Analysis, registra 2,8% de AA-WER, empatado com o segundo colocado que usa aproximadamente 24 bilhões de parâmetros ativos, enquanto o Transcribe usa menos de 4,3 bilhões. No VoiceArena Diarization Bench, ficou em primeiro lugar com 32,4% de cpWER consolidado entre 14 sistemas avaliados.
O dataset por trás do modelo, chamado Granary v2, está igualmente disponível em código aberto: 463.062 horas de áudio em 48 idiomas provenientes de 16 corpora distintos.
Por que isso importa para o seu negócio
Gravações de reuniões, atendimentos, entrevistas com clientes e podcasts geram volumes de áudio que poucos times conseguem processar manualmente. O Nemotron 3.5 Transcribe oferece uma rota para automatizar esse trabalho com controle direto via texto: você passa uma instrução como 'identifique os falantes e traduza para o inglês' e o modelo retorna o resultado sem exigir pipelines separados para cada tarefa.
O ponto mais relevante para aplicações práticas é a adaptação por prompt. Um experimento com dados médicos em inglês com sotaque indiano mostrou que apenas mudar a instrução reduziu o WER de 30,8% para 23,8%, sem nenhum retreinamento. O ajuste fino completo com 153 horas de dados sintéticos baixou o erro para 11,8%, uma redução relativa de 46%. Qualquer empresa com terminologia específica em saúde, direito ou finanças pode ganhar precisão com esforço moderado.
Na prática, o modelo já roda via vLLM e há hospedagem disponível em DeepInfra, Baseten e Simplismart. Uma versão quantizada em NVFP4 está anunciada para breve, com throughput de cerca de 100 horas de áudio em menos de três minutos em uma GPU RTX PRO 6000 Blackwell.
Para equipes que já utilizam ferramentas da NVIDIA, o Nemotron Transcribe se soma a produtos como os modelos Kumo para predição em bancos de dados relacionais, parte de um ecossistema de IA que a empresa está construindo ao redor de sua infraestrutura de GPU. O conjunto de dados Granary v2, com pipeline de curadoria aberto, também permite que equipes de pesquisa reproduzam ou ampliem o processo de treinamento.
Conteúdo reescrito e traduzido para PT pela redação luiscortex, revisado por humano.
Fonte: Hugging Face Blog
