ブラウザのタブ1つに入った3つのオーディオツール

約9分

実演

動画では3つのツールを最初から最後まで通します。曲をアカペラと伴奏に分け、話し声の録音から声の後ろにある部屋を取り除き、打ち込んだテキストを読み上げます。1回の通し、1台のマシン — そしてそれが要点です。そのマシンは私たちのものではなく、あなたのものだからです。

画面録画では証明できない部分

ツールが動いている動画は、ツールが動いている動画でしかありません。ファイルがどこへ行ったかは映せませんし、疑ってかかる価値があるのはまさにその一点です — 無料の音声サイトはどこも安心させる言葉をプライバシーについて書いていますが、その多くは結局あなたの録音をまずサーバーに置いています。

これは誰の言葉も信じずに、あなたの側から確認できます：

1. 3つのツールのどれかを開いて F12 (⌥⌘I （Mac の場合）を押し、次に ネットワーク パネルを選びます。
2. チェックを入れます： キャッシュを無効化。こうするとモデルのダウンロードがディスクから読まれずに一覧に出ます。
3. ファイルを置いて、最後まで実行させます。
4. 一覧を読んでください。どのリクエストも GETで、そのすべてがこのサイトのモデルかスクリプトに対するものです。

見るべきなのは「何が無いか」です。 POSTは無く、あなたの音声を本文に含むリクエストも無く、アップロードの進捗も一切ありません。通信は一方向です。モデルがあなたのファイルのある場所へ取り寄せられるのであって、あなたのファイルがモデルのある場所へ送られるのではありません。この順序こそが設計上の違いのすべてです — 来期にこっそり変わりうる保存ポリシーとは違います。

モデルがキャッシュされた後でネットワークケーブルを抜いても、ツールは動き続けます。同じ事実を反対側から見ただけです。

その代償

モデルをローカルで動かすのはタダではありません — 請求のされ方が違うだけです。こちらのサーバー時間の代わりに、初回訪問のダウンロードと、処理中のあなた自身のプロセッサーを支払います：

ツール	初回訪問のダウンロード	上限
ボーカル除去	約 52 MB — 12 MB のランタイムと、ステムごとに 20 MB のモデルファイルが2つ	5分、300 MB
ノイズ除去	約 16 MB	5分、300 MB
テキスト読み上げ	通信量で約 64 MB	1回の生成につき500文字

ダウンロードはツールごとに一度だけ起き、その後はブラウザーがキャッシュするので、2回目の訪問はすぐ始まり接続も不要です。長さの上限がダウンロードと同じ理由で存在します。5分のステレオ音源を浮動小数点に展開したものは、すでに1つのブラウザータブで抱えるには大きな塊で、フル尺の曲は課金の列に並ぶのではなくセッションを終わらせてしまいます。まず必要な区間を任意のエディターで切り出して、それを入れてください。

そもそもテキスト読み上げのモデルを静的ホスティングに載せること自体が、このプロジェクトの難しい方の半分でした。その顛末 — 1ファイル 25 MiB の壁、クロスオリジン分離、そして圧縮について尋ねると事実と正反対を答えてくるホスト — は 別記事にまとめてあります.

曲を2つのステムに分ける

ボーカル除去はミックスを受け取り、2つのファイルを返します。取り出されたボーカルと、残った伴奏です。それを減算ではなく認識によって行っていて、この違いがあなたの曲で通用するかどうかを決めます。

よく知られた無料の方法 — Audacity に入っているもの — は位相反転です。左右のチャンネルに共通するものを、リードボーカルは中央にあるという前提で差し引きます。中央にあることもあります。ただしキック、ベース、スネアもたいてい中央にあり、ベースは約 120 Hz 以下で意図的にモノラルにまとめられることが多いので、一緒に持っていかれます。モノラルのファイルでは差し引く相手がなく、ステレオリバーブに浸ったボーカルではリバーブだけが生き残って乾いた声が消え、何もしないより悪く聞こえます。 Audacity でのやり方と、うまくいかない場合を、自分のファイルで試せる30秒のテストつきで別にまとめてあります。

分離モデルは、歌声が時間と周波数の上でどう見えるかを学習しているので、一方を他方で打ち消すのではなく、各パートを作り直します。だからモノラル録音でも、中央から外れたボーカルでも、強いリバーブでも対応でき、伴奏の低域も保たれます。できないのは、ミックスに元々なかった細部を作り出すことです。声とギターが同じ瞬間に同じ狭い帯域を占めている場所では、どちらかに割り当てるしかなく、その判断こそが分離アーティファクトの正体です。

録音から部屋を取り除く

ノイズ除去は音楽ではなく話し声のためのものです。録音を短いフレームで見て、周波数帯ごとにどれだけが声でどれだけが部屋かを推定し、帯域ごとにゲインをかけます。定常的で反復的なノイズ — ファンのうなり、空調、電源のハム、マイクのヒス — をこの種のモデルが最も確実に読み取れるのは、そのパターンがじっとしている一方で、音声は動き続けるからです。

理解しておく価値のあるつまみは 微調整で、デシベル単位の減衰上限を設定します。モデルがどれだけ取り除いてよいかの天井です。これが存在するのは、ノイズ除去の悪い結果が「残ったヒス」ではなく、「水っぽく金属的なものに噛み砕かれた声」だからです。削減量に上限を設ければ声は無傷のまま、ノイズが少し残ります。人が30分聴き続けるものには、たいていそちらの方が良い取引です。

9秒の室内録音が ノイズ除去のページ にあり、再生しながら処理前と処理後を切り替えられます。フレーズの合間 — 9秒に27か所あり、ノイズが最も聞き取りやすい場所です — では床が約 17 dB 下がります。音声そのものは、入ったときより 0.5 dB 静かになって戻ってきます。この2つ目の数字こそ、どんなノイズ処理ツールでも、これも含めて確認すべきものです。録音全体を下げればノイズの床は必ず良く見えますが、0.5 dB はそれではありません。

直せないのはリバーブです。エコーは声の後ろにあるものではなく声のコピーなので、モデルに分離すべきものがありません。これはマイクを近づけることで解決するもので、後からどうにかするものではありません。

打ち込んだテキストを読み上げる

3つ目のツールは逆方向です。テキストを入れて、音声を出します。14の訛り系統にまたがる19の音声があり、1回の生成につき500文字の上限 — およそ80語、約30秒分の音声です。ナレーション1行やキャプション程度で、多くの人が実際に必要とする形はそれですし、長いファイルを切り直すより台本を1行ずつ直す方が楽です。

短いサンプルから声を複製することもでき、そのサンプルにもここでの他のすべてと同じ規則が適用されます。タブ内で読み取られ、どこにも送られません。静かな場所で録音してください。複製は音色と一緒に部屋と話し方も再現するので、背後にファンの音が入ったサンプルからは、ファンの音入りの声ができます。

ブラウザーが向かない場面

• アルバム1枚まるごと。 1回5分は単曲のほとんどを賄いますが、40曲はやはり40回です。一括処理は、動かしっぱなしにできるマシンの仕事です。
• 4つ以上のステム。 分離器はボーカルとそれ以外を分けます。ドラム、ベース、その他のパートを個別に分けるには別のモデルと、タブに求めるべきでない量の計算資源が要ります。
• API。 構造上、呼び出すエンドポイントは存在しません — 処理をしているサーバーが無いからです。
• スマートフォンの従量制回線。 初回ダウンロードは実在し、テキスト読み上げが重い方です。
• 細かい韻律の制御。 SSML も音素エディターも単語ごとのピッチもありません。読み方はテキストを書き直すことで調整します。

よくある質問