ИИ-ИЗМЕНЕНИЕ ГОЛОСА
ИИ-изменение голоса прямо в браузере
Два фрагмента на входе, один на выходе. Первый задает слова, ритм и подачу, второй — голос. Аудиофильтр Audiofilter выполняет преобразование прямо в этой вкладке — ни один фрагмент не загружается на сервер, и регистрация не нужна.
ЛОКАЛЬНАЯ АУДИОЛАБОРАТОРИЯ
Изменить голос
Дайте запись для преобразования и образец голоса, в который ее нужно превратить.Что здесь сказано, то и прозвучит на выходе — меняется только голос.
Образец голоса целевого диктора. Лучше всего подходит чистая речь одного человека.
Не используйте инструмент, чтобы выдавать себя за другого человека, или в любых других незаконных целях. См. Условия использования.
Что он на самом деле делает
Это конвертер тембра, то есть инструмент более узкий и предсказуемый, чем обычно подразумевает название «изменение голоса». Он не меняет ни того, что сказано, ни того, как это сказано. В записи сохраняются слова, ритм, паузы и ударения; заменяется только сам говорящий.
Как это работает, по порядку: референсный энкодер прослушивает ваш образец голоса и сжимает его до 256 чисел — и больше ничем голос здесь не представлен. Постериорный энкодер превращает вашу запись в латентную последовательность. Затем нормализующий поток переводит эту последовательность в пространство, не зависящее от говорящего, и обратно — уже с учетом этих 256 чисел, а вокодер восстанавливает из результата звуковую волну.
Поток — единственная часть, которая видит эмбеддинг говорящего, поэтому преобразование и получается таким чистым: энкодер и вокодер выполняют работу, не зависящую от говорящего, а смена личности происходит в одном месте.
Ему нужно аудио, с напечатанным текстом он ничего не сделает. Если вам нужна речь, синтезированная из текста, — с собственным клонированием голоса, — откройте инструмент озвучки текста вместо этого.
Во что обходится локальная работа
Честные цифры — измерены на этой сборке, а не взяты наугад:
| Параметр | Значение | Почему |
|---|---|---|
| Загрузка при первом визите | Около 102 МБ, один раз | Веса конвертера, в пяти частях, потому что статический хостинг ограничивает размер файла 25 МиБ. Затем они кэшируются. |
| Скорость преобразования | Около 18 с вычислений на 1 с аудио | 82 процента времени занимают три стадии WaveNet, остальное — вокодер. Какого-то одного узкого места, которое можно убрать, нет. |
| Длина фрагмента | До 10 секунд на входе, 30 секунд образца | Пять секунд — это уже около полутора минут ожидания, а более длинный фрагмент только увеличит время. Образец обходится дешево — его энкодер тратит около 6 мс. |
| Результат | WAV 22 050 Гц, моно, 32-bit float | 22 050 Гц — внутренняя частота модели. Float, а не 16 бит, чтобы тихие фрагменты сохраняли детали. |
Как получить результат, который стоит сохранить
- Дайте в качестве образца от пяти до пятнадцати секунд чистой речи. Один говорящий, без музыки и без второго голоса. Длиннее — не значит лучше: в любом случае всё сводится к 256 числам.
- Записывайте образец в тихом месте. Конвертер воспроизводит вместе с голосом и помещение, так что вентилятор в образце станет вентилятором в результате. Если ваш единственный образец шумный, пропустите его через шумоподавление перед использованием.
- Давайте речь, а не пение. Протяжные ноты и вибрато — не то, для чего создавалась эта модель.
- Исходник тоже должен быть чистым. Фоновый шум в исходнике сохраняется после преобразования: это не инструмент для очистки.
- Попробуйте несколько образцов. Одни голоса переносятся лучше других, и проверить два образца быстрее, чем бороться с одним.
Где это не сработает
- Длинные записи. Десять секунд за один проход, а ожидание растет линейно с длиной — обработка десяти секунд занимает уже около трех минут. Для закадровой озвучки это не подходит.
- Реальное время. При восемнадцати секундах работы на секунду звука преобразование в реальном времени во вкладке браузера невозможно.
- Пение и музыка. Только речь.
- Изменение сказанного. Здесь нет редактирования, только переозвучка.
- Устройства с малым объемом памяти. Во время загрузки модели нужно примерно 200 МБ оперативной памяти. У простого телефона ее может не хватить.
Инструмент преобразует запись в любой голос, образец которого вы ему дадите, — и именно поэтому ответственность за выбор лежит на вас. Клонирование голоса реального человека без его согласия может нарушать право на публичный образ, а в ряде юрисдикций теперь есть отдельные законы о сходстве голоса — авторское право здесь не единственный вопрос. Используйте свой голос или тот, на использование которого у вас есть разрешение. Здесь ничего не загружается на сервер, так что мы вас не контролируем; это лишь напоминание, что ответственность несет тот, кто нажимает кнопку.
Не для незаконного использования. Выдавать преобразованный голос за чужой, обманывать человека или систему голосовой аутентификации, травить, клеветать — ни для чего из этого инструмент не предназначен, и ничто из этого не перестает быть незаконным оттого, что преобразование выполнено на вашем устройстве. Законы в разных странах различаются, и соблюдать законы там, где вы находитесь, — ваша ответственность. Работу с этим сайтом регулируют Условия использования.
Другие аудиофильтры Audiofilter
- ИИ-удаление вокала — разделите песню на чистый вокал (а капелла) и минусовку для караоке.
- ИИ-шумоподавление — уберите с фона речи гул вентилятора, шум кондиционера и шипение микрофона.
- ИИ-озвучка текста — 19 голосов плюс клонирование по короткому образцу.
- Аудиоконвертер и сжатие MP3 — конвертируйте из формата в формат или уменьшите MP3.
ВОПРОСЫ И ОТВЕТЫ
Часто задаваемые вопросы
Как работает это ИИ-изменение голоса?
Это конвертер тембра. Ваша запись задает слова, ритм и подачу, а образец — личность голоса. Энкодер образца превращает его в эмбеддинг говорящего из 256 чисел, а нормализующий поток заново обусловливает ваше аудио этим эмбеддингом, после чего вокодер восстанавливает звуковую волну.
Нужно ли что-то печатать, как в инструменте озвучки текста?
Нет, и с текстом он работать не будет. Он преобразует уже имеющееся у вас аудио. Если вам нужна речь из напечатанного текста, воспользуйтесь инструментом озвучки текста — в нем есть свое клонирование голоса.
Мое аудио куда-нибудь загружается?
Нет. Модель один раз скачивается в браузер, и преобразование выполняется там же. Откройте панель «Сеть» перед преобразованием: каждый запрос — это загрузка модели с этого сайта, и ни один не передает ваше аудио в обратную сторону.
Сколько длится преобразование?
Примерно 18 секунд вычислений на каждую секунду аудио, так что фрагмент в пять секунд обрабатывается около полутора минут. Это измерено, а не оценено на глаз — работа идет на вашем процессоре, а не на сервере, и модель эта тяжелая.
Какой длины фрагмент можно преобразовать?
До 10 секунд, и короткий фрагмент — удобный выбор. Это следует прямо из цифры выше: пять секунд — около полутора минут ожидания, десять секунд — около трех минут. Ограничение стоит там, где кончается терпение, а не платный тариф.
Какой длины должен быть образец голоса?
Пяти–пятнадцати секунд чистой речи одного человека вполне достаточно. Длиннее — не лучше: энкодер образца в любом случае тратит около 6 миллисекунд и так или иначе сводит весь фрагмент к 256 числам.
Почему результат звучит как моя комната?
Потому что образец голоса несет в себе и помещение. Конвертер воспроизводит то, что слышит в образце, включая реверберацию, шипение и характер микрофона. Записывайте образец в тихом месте или сначала очистите его шумоподавлением.
Какая частота дискретизации у результата?
22 050 Гц, моно — именно с этой частотой модель работает внутри. Результат скачивается как WAV в формате 32-bit float, чтобы тихие фрагменты сохраняли детали.
Можно ли так клонировать чей угодно голос?
Технически инструмент преобразует запись в любой голос, образец которого вы дадите, — именно поэтому выбор так важен. Клонирование голоса реального человека без его согласия может нарушать право на публичный образ, а в ряде юрисдикций — и отдельные законы о сходстве голоса; авторское право — не единственный вопрос. Используйте свой голос или тот, на использование которого у вас есть разрешение.
Насколько велика загрузка и повторяется ли она?
Около 102 МБ, один раз. Браузер кэширует модель, так что при следующих визитах преобразование начинается сразу. Она приходит пятью частями, потому что статический хостинг ограничивает размер отдельного файла 25 МиБ.
Нужно очистить запись, а не переозвучить ее?
Открыть шумоподавление → Открыть озвучку текста →