Três ferramentas de áudio em uma aba do navegador

cerca de 9 minutos

O passo a passo

O vídeo roda as três ferramentas do começo ao fim: uma música separada em a cappella e instrumental, uma gravação falada com a sala retirada de trás da voz, e uma linha de texto digitada lida em voz alta. Uma passada, uma máquina — e é esse o ponto, porque essa máquina é sua e não nossa.

A parte que uma gravação de tela não consegue provar

Um vídeo de uma ferramenta funcionando é um vídeo de uma ferramenta funcionando. Ele não mostra para onde o arquivo foi, e é justamente essa a afirmação sobre a qual vale a pena ser cético — todo site de áudio gratuito diz algo tranquilizador sobre privacidade, e a maioria ainda põe sua gravação num servidor primeiro.

Esta dá para verificar do seu lado, sem acreditar na palavra de ninguém:

1. Abra qualquer uma das três ferramentas e aperte F12 (⌥⌘I num Mac), e então escolha o painel Rede .
2. Marque Desativar cache, para que o download do modelo apareça em vez de vir do disco.
3. Solte seu arquivo e deixe rodar até o fim.
4. Leia a lista. Toda requisição será um GET, e todas elas serão de um modelo ou de um script deste site.

O que você procura é o que está faltando: nenhum POST, nenhuma requisição com o seu áudio no corpo, nenhum progresso de envio. O tráfego vai num sentido só. O modelo é trazido até onde o seu arquivo já está, em vez de o seu arquivo ser mandado até onde o modelo mora, e essa ordem é toda a diferença de arquitetura — não é uma política de retenção que possa mudar discretamente no próximo trimestre.

Tire o cabo de rede depois que o modelo estiver em cache e as ferramentas continuam funcionando. É o mesmo fato visto da outra ponta.

O que isso custa a você

Rodar os modelos localmente não é de graça — é cobrado de outro jeito. Em vez do nosso tempo de servidor, você gasta um download na primeira visita e o seu próprio processador enquanto o trabalho roda:

Ferramenta	Download na primeira visita	Limite
Removedor de voz	Cerca de 52 MB — um runtime de 12 MB mais dois arquivos de modelo de 20 MB, um por stem	5 minutos, 300 MB
Redutor de ruído	Cerca de 16 MB	5 minutos, 300 MB
Texto para voz	Cerca de 64 MB pela rede	500 caracteres por geração

Cada download acontece uma vez por ferramenta e depois fica no cache do navegador, então uma segunda visita começa na hora e não precisa de conexão. Os limites de duração existem pelo mesmo motivo que os downloads: uma faixa estéreo de cinco minutos expandida para ponto flutuante já é um objeto grande para segurar numa aba só, e uma música inteira encerraria a sessão em vez de ficar numa fila atrás de um paywall. Corte antes o trecho que você quer em qualquer editor e mande esse.

Fazer o modelo de texto para fala caber num host estático acabou sendo a metade difícil do projeto. Essa história — um muro de 25 MiB por arquivo, isolamento cross-origin, e um host que responde o oposto da verdade quando você pergunta sobre compressão — está contada à parte.

Separar uma música em dois stems

O removedor de vocais pega uma mixagem e devolve dois arquivos: o vocal isolado e o instrumental que sobrou. Ele faz isso por reconhecimento e não por subtração, e é essa distinção que decide se vai funcionar na sua faixa.

O método gratuito conhecido — o que vem no Audacity — é o cancelamento de fase. Ele subtrai o que os canais esquerdo e direito têm em comum, supondo que o vocal principal está centralizado. Às vezes está. O bumbo, o baixo e a caixa costumam estar também, e o baixo é frequentemente somado em mono abaixo de uns 120 Hz de propósito, então vão junto. Num arquivo mono não há nada contra o que subtrair, e num vocal encharcado de reverberação estéreo a reverberação sobrevive enquanto a voz seca some, o que soa pior do que não fazer nada. Escrevemos sobre como fazer isso no Audacity e quando não funciona, com um teste de 30 segundos para o seu próprio arquivo.

Um modelo de separação foi treinado com a aparência de uma voz cantada ao longo do tempo e da frequência, então ele reconstrói cada parte em vez de cancelar uma contra a outra. É por isso que lida com gravações mono, vocais fora do centro e muita reverberação, e por isso o instrumental mantém os graves. O que ele não consegue fazer é inventar detalhe que nunca esteve na mixagem: onde a voz e uma guitarra ocupam a mesma faixa estreita no mesmo instante, algo tem que ser atribuído a uma das duas, e esse julgamento é exatamente o que são os artefatos de separação.

Tirar a sala de uma gravação

O redutor de ruído é para fala, não para música. Ele olha a gravação em quadros curtos, estima para cada banda de frequência quanto é voz e quanto é sala, e aplica um ganho a cada banda de acordo. Ruído estável e repetitivo — zumbido de ventilador, ar-condicionado, zumbido da rede elétrica, chiado de microfone — é o que essa classe de modelo lê com mais confiabilidade, porque o padrão dele fica parado enquanto a fala não para de se mover.

O controle que vale a pena entender é Ajuste fino, que define um limite de atenuação em decibéis: um teto para quanto o modelo pode remover. Ele existe porque o mau resultado de uma redução de ruído não é o chiado que sobra, é uma voz mastigada até virar algo aquoso e metálico. Limitar a redução mantém a voz intacta e deixa um pouco de ruído, e essa costuma ser a troca melhor para qualquer coisa que uma pessoa tenha que ouvir por meia hora.

Há uma gravação de sala de nove segundos na página do redutor de ruído entre cujo antes e depois você pode alternar durante a reprodução. Entre as frases — vinte e sete intervalos em nove segundos, que é onde o ruído é mais fácil de ouvir — o piso cai cerca de 17 dB. A fala em si volta meio decibel mais baixa do que entrou. Esse segundo número é o que se deve conferir em qualquer ferramenta de ruído que você testar, inclusive esta: baixar a gravação inteira sempre vai fazer um piso de ruído parecer melhor, e meio decibel não é isso.

O que ele não resolve é a reverberação. O eco é uma cópia da voz e não algo que esteja atrás dela, então não há nada para o modelo separar. Essa se resolve aproximando o microfone, não depois.

Ler em voz alta um texto digitado

A terceira ferramenta vai no sentido contrário: texto entra, áudio sai. São 19 vozes em 14 famílias de sotaque, e um limite de 500 caracteres por geração — cerca de 80 palavras, ou uns 30 segundos de fala. Isso é uma linha de narração ou uma legenda, que é o formato que a maioria realmente precisa, e é mais fácil editar um roteiro linha por linha do que recortar um único arquivo longo.

Ela também clona uma voz a partir de uma amostra curta, e a amostra obedece à mesma regra que tudo aqui: é lida na aba e nunca enviada a lugar nenhum. Grave num lugar silencioso. Um clone reproduz a sala e a entonação junto com o timbre, então uma amostra com um ventilador ao fundo produz uma voz com um ventilador dentro.

Onde um navegador é o lugar errado para isso

• Um álbum inteiro. Cinco minutos por passada cobrem a maioria das músicas isoladas, mas quarenta delas continuam sendo quarenta passadas. Trabalho em lote pertence a uma máquina que se possa deixar rodando.
• Quatro stems ou mais. O separador divide vocais de todo o resto. Separar bateria, baixo e outras partes exige outro modelo e mais processamento do que se deveria pedir a uma aba.
• Uma API. Não há endpoint para chamar, por construção — não existe servidor fazendo o trabalho.
• Uma conexão limitada no celular. O primeiro download é real, e texto para fala é o pesado.
• Controle fino de prosódia. Sem SSML, sem editor de fonemas, sem tom por palavra. Você guia a leitura reescrevendo o texto.

Perguntas frequentes