Drei Audio-Werkzeuge in einem Browser-Tab

etwa 9 Minuten

Der Durchgang

Das Video lässt alle drei Werkzeuge von Anfang bis Ende laufen: ein Song, getrennt in A cappella und Instrumental, eine Sprachaufnahme, aus der der Raum hinter der Stimme herausgenommen wurde, und eine getippte Zeile, die vorgelesen wird. Ein Durchgang, eine Maschine — und genau darum geht es, denn diese Maschine ist deine und nicht unsere.

Der Teil, den eine Bildschirmaufnahme nicht beweisen kann

Ein Video von einem funktionierenden Werkzeug ist ein Video von einem funktionierenden Werkzeug. Es kann dir nicht zeigen, wohin die Datei gegangen ist, und genau das ist die eine Behauptung, der gegenüber Skepsis angebracht ist — jede kostenlose Audioseite sagt etwas Beruhigendes über Privatsphäre, und die meisten legen deine Aufnahme trotzdem erst auf einen Server.

Diese hier ist von deiner Seite aus überprüfbar, ohne irgendjemandem glauben zu müssen:

1. Öffne eines der drei Werkzeuge und drücke F12 (⌥⌘I auf dem Mac), und wähle dann das Panel Netzwerk .
2. Setze den Haken bei Cache deaktivieren, damit der Modell-Download auftaucht und nicht von der Festplatte kommt.
3. Lege deine Datei ab und lass es bis zum Ende durchlaufen.
4. Lies die Liste. Jede Anfrage wird ein GETsein, und jede einzelne gilt einem Modell oder einem Skript von dieser Seite.

Worauf du achtest, ist das, was fehlt: kein POST, keine Anfrage mit deinem Audio im Rumpf, überhaupt kein Upload-Fortschritt. Der Verkehr geht nur in eine Richtung. Das Modell wird dorthin geholt, wo deine Datei schon ist, statt dass deine Datei dorthin geschickt wird, wo das Modell wohnt — und diese Reihenfolge ist der ganze architektonische Unterschied. Sie ist keine Aufbewahrungsrichtlinie, die nächstes Quartal still geändert werden könnte.

Zieh das Netzwerkkabel, nachdem das Modell im Cache liegt, und die Werkzeuge funktionieren weiter. Das ist dieselbe Tatsache, vom anderen Ende aus gesehen.

Was dich das kostet

Die Modelle lokal laufen zu lassen ist nicht umsonst — es wird nur anders abgerechnet. Statt unserer Serverzeit gibst du beim ersten Besuch einen Download aus und deinen eigenen Prozessor, solange die Arbeit läuft:

Werkzeug	Download beim ersten Besuch	Grenze
Vocal Remover	Etwa 52 MB — eine 12-MB-Laufzeit plus zwei 20-MB-Modelldateien, eine pro Stem	5 Minuten, 300 MB
Rauschentfernung	Etwa 16 MB	5 Minuten, 300 MB
Text-zu-Sprache	Etwa 64 MB über die Leitung	500 Zeichen pro Erzeugung

Jeder Download passiert einmal pro Werkzeug und wird dann vom Browser zwischengespeichert, ein zweiter Besuch startet also sofort und braucht keine Verbindung. Die Längengrenzen gibt es aus demselben Grund wie die Downloads: Eine fünf Minuten lange Stereospur, in Gleitkomma entfaltet, ist schon ein großes Objekt für einen einzigen Browser-Tab, und ein ganzer Song würde die Sitzung beenden statt hinter einer Bezahlschranke zu warten. Schneide den gewünschten Abschnitt vorher in einem beliebigen Editor heraus und gib den hinein.

Das Text-zu-Sprache-Modell überhaupt auf einen statischen Hoster zu bekommen, erwies sich als die schwierigere Hälfte des Projekts. Diese Geschichte — eine Mauer von 25 MiB pro Datei, Cross-Origin-Isolation und ein Hoster, der das Gegenteil der Wahrheit meldet, wenn man ihn nach Kompression fragt — ist separat aufgeschrieben.

Einen Song in zwei Stems trennen

Der Vocal Remover nimmt eine Mischung und gibt zwei Dateien zurück: den freigestellten Gesang und das übrig gebliebene Instrumental. Er tut das durch Erkennen statt durch Subtraktion, und diese Unterscheidung entscheidet, ob es bei deinem Titel funktioniert.

Die bekannte kostenlose Methode — die in Audacity eingebaute — ist Phasenauslöschung. Sie subtrahiert, was der linke und der rechte Kanal gemeinsam haben, unter der Annahme, dass der Lead-Gesang mittig liegt. Manchmal tut er das. Kick, Bass und Snare liegen meist auch mittig, und Bass wird unterhalb von etwa 120 Hz oft absichtlich auf Mono summiert, sie gehen also mit. Bei einer Monodatei gibt es nichts, wogegen subtrahiert werden könnte, und bei einem in Stereohall getränkten Gesang überlebt der Hall, während die trockene Stimme verschwindet — das klingt schlechter, als hätte man es gelassen. Wir haben aufgeschrieben, wie es in Audacity geht und wann es nicht funktioniert, samt einem 30-Sekunden-Test für deine eigene Datei.

Ein Trennmodell ist darauf trainiert worden, wie eine Singstimme über Zeit und Frequenz aussieht, es baut also jeden Teil neu auf, statt einen gegen den anderen auszulöschen. Deshalb kommt es mit Monoaufnahmen, außermittigen Gesängen und starkem Hall zurecht, und deshalb behält das Instrumental sein Fundament. Was es nicht kann, ist Details zu erfinden, die nie in der Mischung waren: Wo Stimme und Gitarre im selben Moment dasselbe schmale Band besetzen, muss etwas einem von beiden zugeschlagen werden — und genau diese Entscheidung sind Trennungsartefakte.

Den Raum aus einer Aufnahme herausnehmen

Die Rauschentfernung ist für Sprache gedacht, nicht für Musik. Sie betrachtet die Aufnahme in kurzen Frames, schätzt für jedes Frequenzband, wie viel davon Stimme und wie viel Raum ist, und legt jedem Band entsprechend eine Verstärkung auf. Gleichmäßiges, sich wiederholendes Rauschen — Lüfterbrummen, Klimaanlage, Netzsummen, Mikrofonrauschen — liest diese Modellklasse am zuverlässigsten, weil sein Muster stillhält, während Sprache in Bewegung bleibt.

Der Regler, den man verstehen sollte, ist Feinabstimmung, der eine Dämpfungsgrenze in Dezibel setzt: eine Obergrenze dafür, wie viel das Modell entfernen darf. Es gibt ihn, weil das schlechte Ergebnis einer Rauschentfernung nicht übrig gebliebenes Rauschen ist, sondern eine Stimme, die zu etwas Wässrigem und Metallischem zerkaut wurde. Die Reduktion zu deckeln hält die Stimme intakt und lässt ein wenig Rauschen stehen, und das ist meist der bessere Tausch für alles, dem ein Mensch eine halbe Stunde lang zuhören muss.

Es gibt eine neun Sekunden lange Raumaufnahme auf der Seite zur Rauschentfernung , zwischen deren Vorher und Nachher du während der Wiedergabe umschalten kannst. Zwischen den Sätzen — siebenundzwanzig Lücken in neun Sekunden, und dort hört man Rauschen am leichtesten — sinkt der Teppich um etwa 17 dB. Die Sprache selbst kommt ein halbes Dezibel leiser zurück, als sie hineinging. Diese zweite Zahl ist die, die du bei jedem Rausch-Werkzeug prüfen solltest, auch bei diesem: Die ganze Aufnahme leiser zu drehen lässt einen Rauschteppich immer besser aussehen, und ein halbes Dezibel ist das nicht.

Was es nicht behebt, ist Hall. Ein Echo ist eine Kopie der Stimme und nicht etwas, das dahinter sitzt, es gibt für das Modell also nichts zu trennen. Das löst man, indem man das Mikrofon näher stellt, nicht hinterher.

Getippten Text vorlesen

Das dritte Werkzeug geht in die andere Richtung: Text hinein, Audio heraus. Es gibt 19 Stimmen aus 14 Akzentfamilien und eine Grenze von 500 Zeichen pro Erzeugung — grob 80 Wörter oder etwa 30 Sekunden Sprache. Das ist eine Zeile Erzählung oder eine Bildunterschrift, also die Form, die die meisten tatsächlich brauchen, und ein Skript Zeile für Zeile zu bearbeiten ist leichter, als eine einzelne lange Datei neu zu schneiden.

Es klont auch eine Stimme aus einer kurzen Probe, und für die Probe gilt dieselbe Regel wie für alles andere hier: Sie wird im Tab gelesen und nirgendwohin gesendet. Nimm sie an einem ruhigen Ort auf. Ein Klon reproduziert den Raum und den Vortrag zusammen mit der Klangfarbe, eine Probe mit einem Lüfter im Hintergrund ergibt also eine Stimme mit einem Lüfter darin.

Wo ein Browser der falsche Ort dafür ist

• Ein ganzes Album. Fünf Minuten pro Durchgang decken die meisten einzelnen Songs ab, aber vierzig davon sind immer noch vierzig Durchgänge. Stapelarbeit gehört auf eine Maschine, die man laufen lassen kann.
• Vier oder mehr Stems. Der Separator trennt Gesang von allem anderen. Schlagzeug, Bass und weitere Teile einzeln zu trennen braucht ein anderes Modell und mehr Rechenleistung, als man einem Tab zumuten sollte.
• Eine API. Es gibt bauartbedingt keinen Endpunkt zum Aufrufen — es gibt keinen Server, der die Arbeit macht.
• Eine getaktete Verbindung auf dem Handy. Der erste Download ist echt, und Text-zu-Sprache ist der schwere.
• Feine Prosodie-Kontrolle. Kein SSML, kein Phonem-Editor, keine Tonhöhe pro Wort. Du steuerst die Lesung, indem du den Text umschreibst.

Häufig gestellte Fragen