5초 녹음 하나로 소설 전체 분역 더빙이 가능할까? 직접 해본 후기
어제 밤, 휴대폰으로 5초만 녹음해 소설 전체를 성우처럼 읽어줄 수 있을까? 반신반의하며 온라인 텍스트 음성 변환 클론 페이지에 파일을 올렸던 순간이 아직도 생생하다.
왜 하필 5초였나?
손에 잡히는 장편 오디오북 프로젝트가 있었다. 주인공과 악당 목소리 톤 차이가 커서 전문 성우를 섭외하려 했으나 예산이 막혔다. 우연히 VoxClone 메인에 “영구 무료 음성 복제” 문구를 보고, 가장 짧은 샘플로 먼저 테스트해보기로 했다. 혹시라도 되면 돈도 시간도 아낄 수 있으니까.
샘플 준비: 복도에서 5.2초 녹음
조용한 복도에서 입술을 마이크에 대고 주인공의 대표 대사를 한 번 읊었다. 배경 소음은 거의 없었고, 파일은 m4a 5.2초. 드래그 앤 드롭으로 올리니 회원가입 창도 뜨지 않고 10초도 안 걸려 업로드 완료. 진짜 가입 없이 음성 합성이 가능한 툴이구나 싶었다.
클론 과정: 무료·무등록·즉시 모델 준비
‘클론 시작’ 버튼을 누르니 진행바만 슥 지나가고 “모델 준비 완료, 바로 합성 가능”이라는 작은 글씨가 떴다. 바로 텍스트 박스에 주인공 1장 독백을 붙여넣고 방금 만든 음색을 선택해 합성. 첫 문장 듣자마자 소름—숨소리, 미세한 떨림까지 내 목소리와 거의 똑같았다. 이게 무료 AI 더빙의 현재 수준인가 싶었다.
첫 번째 합성: 주인공 톤 잡기
주인공 대사엔 긴 멈춤이 몇 군데 있었다. 문장부호로 멈춤을 표시했더니 기계적인 끊김 없이 자연스럽게 이어졌다. 기본 속도가 좀 빨라 0.9배로 낮추고 피치를 살짝 올렸더니 원작 읽기 리듬이 딱 맞았다. WAV로 내보내니 파형도 깔끔, 바닥 노이즈 거의 없었다.
두 번째 합성: 악당 느낌 내기
악당은 낮고 거친 톤이 필요하다. 같은 5초 샘플로 피치를 -2반음, 속도 0.85배로 내려봤다. 압박감은 생겼지만 고역 디테일이 사라지고 가끔 전자음 같은 아티팩트가 튀었다. 동일 모델로 극단적 톤 변환은 한계가 있구나 싶어서 후처리 EQ로 보완하기로 했다.
파라미터 튜닝: 속도·피치·무음 삽입
두 버전을 나란히 재생하니 주인공 트랙은 바로 업로드해도 될 수준, 악당 트랙은 여전히 거칠었다. 악당 피치 -1.5, 속도 0.85, 중요 문장 앞 300ms 무음 마커를 넣고 재합성하니 아티팩트 절반 이상 줄었다. 이 루프만 10분 걸렸고, 별도 소리 복제 소프트웨어 무료 클라이언트 설치 없이 브라우저 안에서 끝났다. 더 많은 파라미터 팁은 튜토리얼 모음에서 확인 가능하다.
녹음 환경이 결과를 가른다
이번 테스트로 깨달은 건, 녹음 시 주변 소음·마이크 거리·실내 잔향까지 모델이 고스란히 학습한다는 점이다. 복도에서 거의 드라이하게 녹음한 샘플은 클론 결과도 깨끗했다. 급하게 거실에서 에어컨 켜둔 채 녹음한 5초는 바닥 노이즈가 커지고 숨소리까지 ‘쉬익’ 거리는 소리로 증폭됐다. 경험상 옷장 안이나 이불 더미 속에서 입술 5cm 거리, 모든 가전 끄고 녹음하면 5초라도 신호대잡음비가 높아 후처리 노이즈 제거 절반은 덜 수 있다.
마이크 게인은 클리핑 안 걸리는 최대치로, 녹음 뒤 휴대폰 기본 편집기로 앞뒤 무음 잘라내고 순수 보컬만 남겼다. 업로드 전 16kHz 모노 WAV로 변환해두면 웹에서 가끔 뜨는 ‘디코딩 실패’ 알림도 피할 수 있다. 사소해 보이지만 이 디테일이 음성 복제 온라인 품질의 상한선을 정한다.
한 모델로 전권 배치 합성 워크플로
주인공·악당 두 음색이 확보되니 이후 수십 장은 다시 클론할 필요 없다. 각 장 대본을 역할별로 두 개 txt로 쪼개고, 웹 ‘배치 합성’(실상은 텍스트 박스에 구간별 붙여넣기·합성·다운로드)에 브라우저 ‘자동 폼 채우기’ 익스텐션을 물려 몇 분 만에 한 장 두 트랙을 다 뽑았다. 파일명은 ‘챕터_역할’ 규칙으로 일괄 변경해 타임라인에 올리면 수동 정렬 거의 필요 없다.
주의할 점: 긴 텍스트 합성 시 속도·피치 미세조정 값을 고정해두지 않으면 장마다 ‘빨라졌다 느려졌다’ 하는 위화감이 생긴다. 주인공 0.92배·피치 +0.3, 악당 0.85배·피치 -2.5로 고정하고 전권 돌리니 청감 통일감이 완벽했다.
3초 샘플이면 어떨까? 호기심 테스트
문득 3초만 잘라 올려봤다. 모델이 “샘플 너무 짧음, 4초 이상 권장” 경고를 띄웠지만 강행했더니 모음 부분에서 떨림, 자음 가장자리에서 금속성 소리가 심해 완전 불가였다. 하드한 최소 길이 제한이 있음을 확인. 진짜로 극히 짧은 클립만 있다면 같은 캐릭터의 다른 톤 대사 두세 마디를 이어 5초 이상으로 늘리거나 중간에 0.5초 무음 넣어도 된다. 음소 커버리지만 충분하면 모델이 음색 특성을 안정적으로 잡는다.
완성본을 타임라인에 얹는 순간
두 트랙을 타임라인에 깔고 배경음·효과음 얹으니 10분 분량 오디오북 1장이 뚝딱 완성. MP3로 내보내 플랫폼에 올렸더니 조회 수가 예상 두 배, 댓글에 “성우 누구야?”라는 말이 달렸다. 다음번엔 5초 샘플만 VoxClone에 던져 바로 뽑아쓰면 녹음 반복 수고도 덜 수 있겠다.
한 줄 요약: 5초만 잘 녹음하면 무료 음성 복제·무료 TTS로 소설 분역 더빙까지 충분히 가능하지만, 녹음 환경과 파라미터 고정이 관건이다. 직접 해보니 내 목소리 복제부터 오디오북 음성 만들기, 영상 내레이션 AI까지 한 번에 해결할 수 있는 워크플로가 보인다. 혹시 너도 도전해볼래?