ブラウザの中で動くAIボイスチェンジャー

実際に何をしているのか

これは 音色コンバーターです。「ボイスチェンジャー」という言葉から連想されるものより狭く、そのぶん結果が読めます。話された内容も話し方も変わりません。録音は言葉もリズムも間も強弱もそのまま保ち、置き換わるのは、話者が誰であるかという部分だけです。

動く順番に沿った仕組み。まずリファレンスエンコーダーが声のサンプルを聴き、それを 256個の数値 — ここでの声の表現はこれで全部です。次に事後エンコーダーが録音を潜在系列に変換します。正規化フローがその系列を話者に依存しない空間へ送り出し、あの256個の数値で条件付けながら戻してきます。最後にボコーダーが結果から波形を組み直します。

話者埋め込みを見るのはフローだけです。変換がこれだけきれいなのはそのためで、エンコーダーとボコーダーは話者に依存しない仕事をしており、入れ替えは1か所だけで起きます。

手元で動かすのにかかるもの

推測ではなく、このビルドで実測した正直な数字です。

残す価値のある結果を得るには

• リファレンスにはきれいな話し声を5秒から15秒。 話者は1人、音楽なし、2人目の声もなし。長ければ良いわけではありません — どのみち最後は256個の数値にまとまります。
• リファレンスは静かな場所で録ってください。 コンバーターは声と一緒に部屋も再現します。サンプルに扇風機が入っていれば、出力にも扇風機が入ります。手持ちのサンプルにノイズしかないなら、先に ノイズ除去 を通してください。
• 歌ではなく話し声を入れてください。 伸ばした音程やビブラートは、このモデルが想定して作られた範囲の外です。
• ソース側もきれいに保ってください。 ソースの背景ノイズは変換後も残ります。これはノイズ除去のためのツールではありません。
• リファレンスは複数試してください。 声によって移りやすさは違います。1つで粘るより2つ試すほうが早く済みます。

うまくいかない場面

• 長いもの全般。 1回につき10秒で、待ち時間は長さに比例して伸びます — 10秒ならもう3分ほどです。ナレーションには向きません。
• リアルタイム。 音声1秒あたり18秒かかる以上、ブラウザのタブでのリアルタイム変換は選択肢に入りません。
• 歌と音楽。 話し声のみです。
• 話した内容を変えること。 ここに編集はなく、声を入れ替えるだけです。
• メモリの少ない端末。 読み込みの間、モデルはおよそ200MBの作業メモリを必要とします。控えめなスマートフォンではその余裕がないかもしれません。

Audiofilter のオーディオフィルター群のその他

• AI ボーカル除去 — 曲を、分離されたアカペラとカラオケ向けの伴奏に分けます。
• AI ノイズ除去 — 話し声の後ろにある扇風機のうなり、エアコン、マイクのヒスノイズを取り除きます。
• AI テキスト読み上げ — 19種類の声に加えて、短いサンプルからのクローン。
• オーディオコンバーターとMP3圧縮 — 形式を変換したり、MP3を小さくしたり。