AI 變聲器

在瀏覽器裡執行的 AI 變聲器

兩段進,一段出。第一段提供內容、節奏和語氣,第二段提供音色。Audiofilter 的音訊濾波器在這個標籤頁裡完成轉換 — 兩段音訊都不上傳,也不需要帳號。

本地音訊實驗室

改變一個聲音

給它一段要轉換的音訊,再給一段想轉成的音色樣本。
最長 10 秒這個模型每 1 秒音訊需要大約 18 秒計算 — 所以 5 秒的片段大概要等一分半,10 秒則是三分鐘左右。上限就是這麼來的,短一點更省心也是同一個道理。這些活跑在你的處理器上,不是我們的。
要轉換的錄音源

這裡說了什麼,出來就是什麼 — 變的只有聲音。

也可以用麥克風直接錄一段。
要轉成的音色參考

目標說話人的樣本。一個人的乾淨說話聲效果最好。

也可以用麥克風直接錄一段。

它實際上做了什麼

這是一個 音色轉換器,這比「變聲器」這個詞通常讓人聯想到的東西更窄,也更可預測。它不改變說了什麼,也不改變怎麼說。你的錄音保留原有的詞句、節奏、停頓和重音;被替換掉的是說話人的身份。

按執行順序講機制:參考編碼器聽你的音色樣本,把它提煉成 256 個數字 — 在這裡,一個聲音的全部表示就是這些。後驗編碼器把你的錄音變成一串潛變數序列。歸一化流把這串序列正向送進一個與說話人無關的空間,再以那 256 個數字為條件送回來,最後由聲碼器從結果重建出波形。

只有流看得到說話人嵌入,轉換之所以乾淨正是因為這一點:編碼器和聲碼器做的都是與說話人無關的活,身份的替換只發生在一個地方。

這不是語音合成

它需要一段音訊作為起點,對著打出來的文字什麼也不會做。如果你想從文字生成語音 — 那邊也有自己的聲音克隆 — 請改用 語音合成工具 。

在本地跑它要付出什麼

誠實的數字,來自對這個構建的實測,不是估計:

專案數值原因
首次訪問下載量約 102 MB,僅一次轉換器的權重。靜態託管對單個檔案有 25 MiB 的上限,所以切成五片。之後會被快取。
轉換速度每 1 秒音訊約 18 秒計算三個 WaveNet 階段佔掉其中 82%,其餘歸聲碼器。沒有哪一處是可以單獨拿掉的熱點。
音訊長度輸入最長 10 秒,參考最長 30 秒5 秒就已經要等一分半左右,再長只會更長。參考那一側很便宜 — 它的編碼器只花約 6 毫秒。
輸出22 050 Hz 單聲道,32 位浮點 WAV22 050 Hz 是模型內部使用的取樣率。用浮點而不是 16 位,是為了讓輕聲的段落保住細節。

怎樣得到一個值得留下的結果

哪些情況下它不行

你用誰的聲音,才是真正要緊的部分

你給它什麼參考,它就往那個方向轉 — 正因如此,這個選擇由你來做,也由你來承擔。未經本人同意克隆一個真實存在的人的聲音,可能侵犯形象權,而且已有多個法域出臺了專門針對聲音相似性的法律 — 著作權並不是唯一要考慮的問題。用你自己的聲音,或者一個你拿到許可的聲音。這裡什麼都不上傳,所以這不是我們在管你,只是提醒一句:責任在按下按鈕的那個人身上。

不得用於非法用途。 把轉換出來的聲音冒充成別人的、欺騙某個人或某套聲紋驗證系統、騷擾、誹謗 — 這些都不是本工具提供出來要被拿去做的事,也不會因為轉換發生在你自己的機器上就不再違法。各地法律允許的範圍並不相同,待在你所在地的法律之內是你自己的責任。你對本站的使用適用 使用條款.

Audiofilter 音訊濾波器套件的其餘部分

問與答

常見問題

這個 AI 變聲器是怎麼工作的?

它是一個音色轉換器。你的錄音提供詞句、節奏和語氣,參考音訊提供聲音的身份。參考編碼器把樣本變成一個 256 維的說話人嵌入,歸一化流用這個嵌入重新條件化你的音訊,然後由聲碼器重建波形。

我需要像用語音合成工具那樣輸入文字嗎?

不需要,而且它從文字出發是不工作的。它轉換的是你已經有的音訊。如果你想要的是從打出來的文字生成語音,請用語音合成工具,那邊自帶聲音克隆。

我的音訊會被上傳到什麼地方嗎?

不會。模型只下載到你的瀏覽器一次,轉換就在那裡進行。轉換前開啟網路面板看看:每一個請求都是從本站下載模型,沒有任何一個把你的音訊送往反方向。

一次轉換要多久?

每 1 秒音訊大約 18 秒計算,所以 5 秒的片段大概要花一分半。這是實測,不是估計 — 這些活跑在你自己的處理器上而不是伺服器上,而且這個模型很重。

我能轉換多長的音訊?

最長 10 秒,短一點更省心。這是上面那個數字直接推出來的:5 秒大概要等一分半,10 秒則是三分鐘左右。上限劃在耐心耗盡的地方,不是付費門檻。

參考音訊應該多長?

一個人五到十五秒的乾淨說話聲就足夠了。更長沒有幫助:參考編碼器無論如何只花大約 6 毫秒,而且它無論如何都會把整段音訊提煉成 256 個數字。

為什麼輸出聽起來像我的房間?

因為一段音色樣本會把房間一起帶上。轉換器會還原它在參考裡聽到的東西,包括混響、底噪和麥克風的味道。把參考錄在安靜的地方,或者先用降噪工具清一遍。

輸出用的是什麼取樣率?

22 050 Hz 單聲道,也就是模型內部工作的取樣率。下載時是 32 位浮點 WAV,好讓輕聲的段落保住細節。

我能用它克隆任何人的聲音嗎?

技術上,你給它什麼參考它就往那個方向轉,而這正是選擇要緊的原因。未經同意克隆一個真實存在的人,可能侵犯形象權,在多個法域還會觸及專門針對聲音相似性的法律 — 著作權不是唯一的問題。用你自己的聲音,或者一個你拿到許可的聲音。

要下載多大,會不會每次都下?

約 102 MB,僅一次。瀏覽器會快取它,之後再來會立刻開始轉換。它分成五片送達,因為靜態託管對單個檔案有 25 MiB 的上限。