Drie audiotools in één browsertabblad

ongeveer 9 minuten

De doorloop

De video laat alle drie de tools van begin tot eind zien: een nummer gesplitst in een acapella en een instrumentaal, een gesproken opname waarbij de ruimte achter de stem is weggehaald, en een regel getypte tekst die wordt voorgelezen. Eén doorloop, één machine — en dat is precies het punt, want die machine is de jouwe en niet de onze.

Het deel dat een schermopname niet kan bewijzen

Een video van een werkende tool is een video van een werkende tool. Hij kan je niet laten zien waar het bestand naartoe ging, en dat is de ene bewering waarover scepsis gerechtvaardigd is — elke gratis audiosite zegt iets geruststellends over privacy, en de meeste zetten je opname toch eerst op een server.

Deze is van jouw kant na te kijken, zonder iemand op zijn woord te geloven:

1. Open een van de drie tools en druk op F12 (⌥⌘I op een Mac), en kies dan het paneel Netwerk .
2. Zet een vinkje bij Disable cache, zodat de modeldownload zichtbaar wordt in plaats van van schijf te komen.
3. Zet je bestand erin en laat het tot het eind doorlopen.
4. Lees de lijst. Elke aanvraag is een GET, en elk ervan is voor een model of een script van deze site.

Waar je naar zoekt is wat ontbreekt: geen POST, geen verzoek met jouw audio in de body, geen uploadvoortgang, helemaal niets. Het verkeer gaat één kant op. Het model wordt gehaald naar waar je bestand al staat, in plaats van dat je bestand wordt gestuurd naar waar het model woont, en die ordening is het hele architectonische verschil — het is geen bewaarbeleid dat volgend kwartaal stil kan veranderen.

Trek de netwerkkabel eruit nadat het model in de cache staat en de tools blijven werken. Dat is hetzelfde feit, van de andere kant bekeken.

Wat je dat kost

De modellen lokaal draaien is niet gratis — het wordt anders afgerekend. In plaats van onze servertijd besteed je een download bij het eerste bezoek en je eigen processor terwijl het werk loopt:

Tool	Download bij het eerste bezoek	Limiet
Zangverwijderaar	Ongeveer 52 MB — een runtime van 12 MB plus twee modelbestanden van 20 MB, één per spoor	5 minuten, 300 MB
Ruisonderdrukker	Ongeveer 16 MB	5 minuten, 300 MB
Tekst naar spraak	Ongeveer 64 MB over de lijn	500 tekens per generatie

Elke download gebeurt één keer per tool en wordt daarna door de browser gecached, dus een tweede bezoek begint direct en heeft geen verbinding nodig. De lengteplafonds bestaan om dezelfde reden als de downloads: een stereotrack van vijf minuten uitgezet naar floating point is al een groot object om in één browsertabblad vast te houden, en een heel nummer zou de sessie beëindigen in plaats van achter een betaalmuur in de wachtrij te gaan. Kort eerst in een editor het stuk uit dat je wilt en voer dat in.

Het tekst-naar-spraakmodel überhaupt op een statische host krijgen bleek de moeilijke helft van het project. Dat verhaal — een muur van 25 MiB per bestand, cross-origin isolatie, en een host die het tegendeel van de waarheid meldt als je naar compressie vraagt — staat apart beschreven.

Een nummer in twee sporen splitsen

De zangverwijderaar neemt een mix en geeft twee bestanden terug: de geïsoleerde zang en het instrumentaal dat overblijft. Hij doet dat door herkenning in plaats van aftrekking, en dat onderscheid bepaalt of het op jouw track gaat werken.

De bekende gratis methode — die in Audacity zit — is fase-uitdoving. Die trekt af wat het linker- en rechterkanaal gemeen hebben, in de aanname dat de leadzang gecentreerd staat. Soms is dat zo. De kick, de bas en de snare staan meestal ook gecentreerd, en bas wordt onder ruwweg 120 Hz vaak opzettelijk naar mono gesommeerd, dus die gaan mee. Bij een monobestand is er niets om tegen af te trekken, en bij een zangpartij doordrenkt van stereogalm blijft de galm over terwijl de droge stem verdwijnt, wat slechter klinkt dan niets doen. We schreven hoe je het in Audacity doet en wanneer het niet werktop, inclusief een test van 30 seconden voor je eigen bestand.

Een scheidingsmodel is getraind op hoe een zingende stem er in tijd en frequentie uitziet, dus het bouwt elk deel opnieuw op in plaats van het ene tegen het andere uit te doven. Daarom komt het overweg met mono-opnamen, niet-gecentreerde zang en zware galm, en daarom houdt het instrumentaal zijn laag. Wat het niet kan, is detail verzinnen dat nooit in de mix zat: waar de stem en een gitaar op hetzelfde moment dezelfde smalle band bezetten, moet iets aan een van de twee worden toegewezen, en die beoordeling is precies wat scheidingsartefacten zijn.

De ruimte uit een opname halen

De ruisonderdrukker is voor spraak, niet voor muziek. Hij kijkt naar de opname in korte frames, schat voor elke frequentieband hoeveel ervan stem is en hoeveel ruimte, en past op elke band een versterking toe. Constant, repetitief geluid — ventilatorbrom, airconditioning, netgezoem, microfoongesis — is wat dit type model het betrouwbaarst leest, omdat het patroon stil blijft staan terwijl spraak blijft bewegen.

De regelaar die het begrijpen waard is, is Fijnregeling, die een dempingslimiet in decibel instelt: een plafond op hoeveel het model mag weghalen. Hij bestaat omdat de slechte uitkomst van ruisonderdrukking niet overgebleven gesis is, maar een stem die is vermalen tot iets waterigs en metaligs. De onderdrukking aftoppen houdt de stem intact en laat een beetje ruis achter, en dat is meestal de betere ruil voor alles waar iemand een halfuur naar moet luisteren.

Er staat een kameropname van negen seconden op de pagina van de ruisonderdrukker die je tijdens het afspelen tussen voor en na kunt omschakelen. Tussen de zinnen — zevenentwintig gaten in negen seconden, en daar is ruis het makkelijkst te horen — zakt de vloer met ongeveer 17 dB. De spraak zelf komt een halve decibel zachter terug dan hij erin ging. Dat tweede getal is het getal om na te kijken bij elke ruistool die je probeert, ook deze: de hele opname zachter zetten zal een ruisvloer altijd beter laten lijken, en een halve decibel is dat niet.

Wat het niet oplost is galm. Echo is een kopie van de stem in plaats van iets wat erachter zit, dus er is niets voor het model om te scheiden. Die los je op door de microfoon dichterbij te zetten, niet achteraf.

Getypte tekst voorlezen

De derde tool gaat de andere kant op: tekst erin, audio eruit. Er zijn 19 stemmen over 14 accentfamilies, en een limiet van 500 tekens per generatie — ruwweg 80 woorden, of ongeveer 30 seconden spraak. Dat is een regel narratie of een caption, en dat is de vorm die de meeste mensen echt nodig hebben; bovendien is een script regel voor regel makkelijker te monteren dan één lang bestand opnieuw knippen.

Hij kloont ook een stem uit een kort voorbeeld, en dat voorbeeld volgt dezelfde regel als al het andere hier: het wordt in het tabblad gelezen en nooit ergens naartoe gestuurd. Neem het ergens stil op. Een kloon reproduceert de ruimte en de voordracht samen met het timbre, dus een voorbeeld met een ventilator op de achtergrond levert een stem met een ventilator erin.

Waar een browser de verkeerde plek hiervoor is

• Een volledig album. Vijf minuten per keer dekt de meeste losse nummers, maar veertig ervan blijven veertig keer. Batchwerk hoort op een machine die je kunt laten doorlopen.
• Vier of meer sporen. De separator splitst zang van al het overige. Drums, bas en andere delen afzonderlijk vragen een ander model en meer rekenkracht dan je van een tabblad mag vragen.
• Een API. Er is per constructie geen eindpunt om aan te roepen — er is geen server die het werk doet.
• Een verbinding met datalimiet op een telefoon. De eerste download is echt, en tekst naar spraak is de zware.
• Fijne controle over prosodie. Geen SSML, geen foneemeditor, geen toonhoogte per woord. Je stuurt de lezing door de tekst te herschrijven.

Veelgestelde vragen