시끄러운 녹음으로 음성 복제했다가 대참사… 무료 TTS 도구의 버릇을 알아냈다
지난주 금요일 오후, 컴퓨터 앞에 앉아서 헤드폰을 꽂았다. 스피커에서 흘러나오는 건 내 목소리였다. 그런데 뭔가 이상했다. 마치 낡은 카세트 라디오에서 나오는 듯한 지직거리는 소음, 그리고 중간중간 들리는 옆집 리모델링 공사 소리. 화면에 펼쳐진 웨이브폼을 멍하니 바라보며 나는 웃음이 나올지 화가 날지 헷갈렸다.
사실 이번이 처음이 아니었다. 팟캐스트에 쓸 내 목소리 아바타를 만들고 싶어서, 매번 녹음할 때마다 세 번씩 다시 하는 게 지겨워서 시작한 거였다. 그런데 그날은 좀 게을렀다. 주방에서 말하는 영상을 폰으로 그냥 찍었다. 냉장고 윙윙거리는 소리, 창밖 차 소리, 그리고 내 기침 소리까지 고스란히 녹음됐다. 그걸 들고 무료 음성 복제 웹페이지에 올렸다. 업로드하고 기다리고, 결과를 확인했다.
결과? 내 목소리가 맞긴 한데, 마치 이불 속에서 말하는 것처럼 답답했다. 배경 소음은 쉬익거리는 노이즈로 증폭됐고, 내 억양도 이상하게 변해 있었다.
왜 시끄러운 녹음이 망치는 걸까?
먼저 내가 뭘 잘못했는지부터 짚어보자. 무료 음성 복제의 원리는 간단하다. AI가 녹음 파일에서 너의 음색 특징을 뽑아내는 거다. 음높이, 포먼트, 말하는 속도, 호흡까지. 그런데 녹음에 배경 소음이 섞여 있으면, AI가 그 소음까지 너의 특징으로 착각해 버린다.
내 녹음은 어땠냐? 냉장고의 낮은 웅웅거림이 음색의 바닥에 깔렸고, 창밖 경적 소리는 고주파 잡음으로 변했다. 결국 클론된 목소리는 마치 터널에서 싸구려 마이크로 녹음한 것처럼 들렸다.
더 화난 건 이거다. 같은 사이트에서 조용한 방에서 녹음한 30초짜리 음성을 다시 올렸더니, 결과가 8배는 좋아졌다. 똑같은 무료 음성 복제 온라인 도구인데, 차이는 오직 녹음 환경뿐이었다.
그러니까 나처럼 하지 마라. 녹음하기 전에 조용한 구석을 찾아라. 폰을 이불로 감싸도 좋다.
무료 TTS 도구 세 개를 비교해 보니 성격이 제각각이다
그 후에 나는 서로 다른 무료 TTS 도구 세 개를 비교해 봤다. 내가 주로 쓰는 무료 음성 복제 플랫폼과, 인터넷에서 평이 좋다는 두 개를 추가로.
첫 번째는 오픈소스 프로젝트였다. 완전히 로컬에서 돌아가서 프라이버시가 좋지만, 녹음 조건이 매우 까다로웠다. 약간의 노이즈만 있어도 바로 실패했다. 두 번째는 온라인 플랫폼이었는데, 인터페이스는 화려했지만 무료 버전은 시간 제한이 있었고, 클론된 목소리에 항상 금속성 톤이 섞여 있었다.
반면에 무료 음성 복제 nice voice는 가장 안정적이었다. 회원가입 없이, 영구 무료, 업로드 후 2분 정도 기다리면 결과물이 나오는데, 소리 깨끗함이 단연 최고였다. 물론 녹음이 선명해야 한다는 조건은 동일했다. 그래도 첫 번째 도구처럼 지나치게 예민하지는 않았다.
피와 땀으로 얻은 녹음 꿀팁
무료 음성 복제를 시도할 거라면, 이 몇 가지를 기억해라. 전부 내가 겪은 일을 바탕으로 한 거다.
- 녹음 시간은 30초 이상. 너무 짧으면 AI가 네 음색을 제대로 학습하지 못한다.
- 폰으로 녹음할 때는 입에서 10~15cm 거리를 유지하고, 마이크에 바람을 직접 쏘이지 마라.
- 배경 노이즈는 -40dB 이하여야 한다. 폰의 녹음 앱에서 웨이브폼을 확인해 봐라. 조용할 때는 직선이어야 한다.
- 환경이 시끄럽다면 녹음 후 노이즈 제거 프로그램을 써라. 단, 너무 강하게 하면 목소리가 가짜처럼 들린다.
나는 그 후 조용한 환경에서 다시 녹음해서 클론을 만들었다. 결과는 놀라웠다. 내가 말할 때 나는 가벼운 숨소리까지 그대로 살아 있었다.
무료 음성 복제의 고급 활용: 노래와 텍스트 낭독
평범한 말하기 외에도, 나는 클론된 목소리로 텍스트를 낭독하게 해 봤다. 무료 음성 복제 낭독 페이지에 기사 하나를 붙여넣고, 속도와 감정을 조절했다. 결과는 정말 내가 직접 읽는 것 같았다.
심지어 어떤 사람들은 무료 음성 복제로 노래도 부르게 한다. 맑은 목소리로 부른 녹음을 업로드하면 AI가 음색을 학습하고, 가사를 입력하면 네 목소리로 노래를 부른다. 물론 노래는 말하기보다 어렵다. 녹음이 더 깨끗해야 하고, 음역대도 네가 평소에 부르는 범위를 커버해야 한다.
하지만 프로 가수 수준을 기대하면 안 된다. 그건 마치 노래방에서 음정은 삐끗하지만 목소리는 너를 닮은 친구 같은 존재다.
무료와 영구에 대한 솔직한 생각
시중에 '무료 음성 복제'라고 광고하는 곳이 많다. 그런데 대부분 횟수 제한이 있거나, 로그인을 요구하거나, 결과물에 워터마크를 박아 놓는다. 그런데 무료 음성 복제 공식 사이트에 들어가 보면, 그냥 업로드하고 다운로드한다. 이메일도 안 남겨도 된다.
나는 회원가입이 필요한 가입 없이 음성 합성 도구도 써 봤다. 기능은 비슷했지만, 항상 마음이 편치 않았다. 내 목소리 데이터가 어디에 쓰일지 모른다는 생각 때문이다.
물론 무료 도구는 단점도 있다. 학습 시간이 조금 길 수 있고, 피크 시간대에는 대기가 걸린다. 하지만 나는 그 정도는 충분히 감수할 만하다.
자주 묻는 질문 (FAQ)
질문
폰 녹음으로 무료 음성 복제를 할 때, 최소 녹음 시간은?
30초 이상이 안정적이다. 나는 15초만 녹음해서도 결과물을 받아 봤는데, 호흡 소리나 말꼬리 같은 디테일이 확실히 빠져 있었다.
질문
배경에 음악이 깔려 있어도 클론이 되나?
된다. 하지만 결과물은 좀 아쉽다. 음악의 멜로디를 AI가 너의 음높이 특징으로 착각해서, 클론된 목소리가 노래하는 것처럼 들릴 수 있다. 가능하면 반주를 제거하거나, 아예 다시 녹음하는 걸 추천한다.
질문
무료 음성 복제와 유료의 차이는?
가장 큰 차이는 학습 속도와 모델 크기다. 무료는 보통 가벼운 모델을 써서 빠르지만 음색 재현도가 조금 낮다. 유료는 더 큰 모델로 디테일을 많이 살린다. 하지만 팟캐스트나 영상 더빙만 할 거라면, 무료로 충분하다.
내가 또 밟은 함정: 마이크 거리와 파열음
좀 더 세부적인 얘기를 하자면, 첫 번째 실패 후에 나는 조용한 환경으로 바꿨다. 그런데도 '푸푸' 하는 소리가 녹음에 잡혔다. 알고 보니 마이크에 너무 가까이 대고 말해서 'ㅍ', 'ㅂ' 같은 파열음이 그대로 녹음된 거였다.
해결책은 간단했다. 폰을 책상에 세워 두고, 30cm 떨어진 곳에 앉아서, 마이크를 정면으로 향하지 말고 살짝 옆으로 비켜서 말하는 거다. 아니면 클립 마이크를 써도 되는데, 싸구려 클립 마이크는 오히려 전류 노이즈가 더 심할 수 있다.
결국 나는 낡은 이어폰에 달린 마이크를 노트북에 꽂아서 녹음했다. 결과는 의외로 깨끗했다. 폰 기본 마이크보다 훨씬 나았다.
말하는 속도와 감정이 클론 결과에 미치는 영향
한 가지 더 발견한 게 있다. 클론 소스를 녹음할 때 말하는 속도와 감정이 AI가 배우는 스타일에 직접 영향을 준다는 점이다.
나는 아주 느리고 차분한 어조로 30초를 녹음했다. 클론된 목소리로 텍스트를 읽히면, 템포가 느리고 마치 뉴스 앵커처럼 딱딱했다. 그래서 평소에 친구랑 수다 떨 때처럼 녹음해 봤다. 자연스러운 멈춤과 올라가는 말투가 포함되자, 클론된 목소리로 팟캐스트 대본을 읽으면 훨씬 자연스러웠다.
그러니까 클론 목소리로 방송을 만들 거라면, 녹음할 때 죽은 표정으로 대본을 읽지 마라. 친구한테 얘기하듯 해라. 그러면 AI가 배운 억양이 더 생생하다.
마지막으로 한마디
한 시간 넘게 씨름한 끝에, 내가 얻은 가장 큰 교훈은 이것이다. 아무리 좋은 도구라도, 조용한 방 하나를 이기지 못한다. 준비됐다면 온라인 텍스트 음성 변환 무료 페이지로 가서, 네 목소리로 직접 읽은 대본을 한번 올려 봐라.