브라우저에서 돌아가는 AI 음성 변환기

실제로 하는 일

이것은 음색 변환기이며, 흔히 “음성 변환기”라는 말이 주는 인상보다 훨씬 좁고 예측 가능한 것입니다. 무엇을 말했는지, 어떻게 말했는지는 바꾸지 않습니다. 여러분의 녹음은 낱말과 리듬, 쉼과 강조를 그대로 유지하고, 교체되는 것은 화자의 정체성입니다.

실행 순서대로 본 작동 방식은 이렇습니다. 참조 인코더가 여러분의 목소리 샘플을 듣고 그것을 이만큼으로 압축합니다: 256개의 숫자 — 여기서 목소리를 나타내는 것은 그게 전부입니다. 사후 인코더가 여러분의 녹음을 잠재 시퀀스로 바꿉니다. 그다음 정규화 플로가 그 시퀀스를 화자 중립 공간으로 밀어 넣고, 그 256개의 숫자를 조건으로 다시 끌어냅니다. 마지막으로 보코더가 그 결과에서 파형을 다시 만듭니다.

화자 임베딩을 보는 부분은 플로뿐이고, 변환이 이만큼 깨끗한 이유가 바로 그것입니다. 인코더와 보코더는 화자와 무관한 일을 하고, 정체성 교체는 한 곳에서만 일어납니다.

로컬에서 돌리는 비용

추측이 아니라 이 빌드에서 직접 측정한 정직한 수치입니다.

쓸 만한 결과를 얻는 법

• 참조에는 깨끗한 음성 5~15초를 주세요. 한 사람만, 음악 없이, 다른 목소리 없이. 길다고 좋은 게 아닙니다 — 어차피 모두 256개의 숫자로 무너집니다.
• 참조는 조용한 곳에서 녹음하세요. 변환기는 목소리와 함께 방까지 재현하므로, 샘플에 팬 소리가 있으면 출력에도 팬 소리가 생깁니다. 가진 샘플이 시끄럽다면 먼저 노이즈 제거기 쪽을 거치세요.
• 노래가 아니라 말소리를 주세요. 길게 끄는 음높이와 비브라토는 이 모델이 만들어진 범위 밖입니다.
• 원본도 깨끗하게 유지하세요. 원본의 배경 소음은 변환을 거치고도 살아남습니다. 이것은 정리 도구가 아닙니다.
• 참조를 하나 이상 시도해 보세요. 어떤 목소리는 다른 목소리보다 잘 옮겨집니다. 하나를 붙들고 씨름하기보다 둘을 시험해 보는 게 빠릅니다.

안 되는 경우

• 긴 것. 한 번에 10초이고, 기다리는 시간은 길이에 비례해 늘어납니다 — 10초면 벌써 3분쯤입니다. 보이스오버에는 맞지 않습니다.
• 실시간. 오디오 1초당 18초가 걸리는 이상, 브라우저 탭에서 실시간 변환은 아예 선택지가 아닙니다.
• 노래와 음악. 말소리만 됩니다.
• 말한 내용을 바꾸는 것. 여기에 편집은 없고, 목소리만 다시 입힙니다.
• 메모리가 적은 기기. 모델을 불러오는 동안 약 200 MB의 작업 메모리가 필요합니다. 성능이 낮은 휴대폰에는 여유가 없을 수 있습니다.

나머지 Audiofilter 오디오 필터 모음

• AI 보컬 제거기 — 노래를 아카펠라 단독 트랙과 노래방용 반주로 나눕니다.
• AI 노이즈 제거기 — 말소리 뒤의 팬 웅웅거림, 에어컨, 마이크 히스를 걷어냅니다.
• AI 텍스트 음성 변환 — 목소리 19종에, 짧은 샘플로 하는 복제까지.
• 오디오 변환기와 MP3 압축기 — 형식끼리 변환하거나, MP3를 줄입니다.