무료 음성 복제로 만든 내레이션, 왜 여전히 로봇 같을까?

지난주, 서울 강남의 한 스타트업이 론칭할 앱 홍보 영상에 무료 TTS를 그대로 넣었다가 클라이언트한테 "목소리가 너무 기계적이야"라는 피드백을 받고 영상을 통째로 다시 찍어야 했다. 그때 느낀 건, 단순히 "읽어주기만 하면 된다"는 생각이 얼마나 위험한지였다.

목소리 톤, 멈춤, 방언의 함정

한국어는 끝소리 억양이 평서문·의문문·명령문마다 확연히 갈린다. 영어처럼 단순히 피치만 올리면 되는 게 아니라, 끝음절 길이와 강세 위치까지 맞춰야 자연스럽다. 예전엔 일본어 더빙할 때 "です" 뒤에 0.2초 정도 쉬는 게 정석이라 했는데, 한국어는 조사 뒤 0.1초만 줘도 충분히 숨 쉰다.

방언 쪽도 마찬가지. 부산 사투리 억양을 표준어 모델로 흉내 내면 바로 "서울 사람 흉내" 티가 난다. 무료 음성 복제 기능으로 내 목소리를 먼저 학습시킨 뒤, 지역별 억양 샘플을 몇 초만 더 넣어주면 꽤 괜찮은 결과가 나온다.

문자셋과 구두점의 숨은 영향

스크립트에 전각 쉼표(、)나 제로폭 공백, 이모지가 섞여 있으면 엔진이 그대로 읽어버리거나 건너뛰면서 뚝뚝 끊긴다. 내가 쓴 방법은 유니코드 정규화(NFC) 한 번 돌리고, 특수 기호를 <break time="150ms"/> 같은 SSML 태그로 치환하는 것. 이러면 후처리에서 오디오 편집기로 잘라 붙이는 수고를 절반으로 줄일 수 있다.

숫자와 날짜 읽기, 실수하면 바로 티 난다

작년 일본어 더빙 때 "2024年3月15日"을 그대로 넣었더니 "이치제이요넨 상가츠 주우고니치"라고 읽혀서 완전 초등학생 낭독처럼 나왔다. 일본어는 연도를 "니센니주욘넨"으로 읽어야 자연스러운데, 대부분 엔진은 언어별 기본 규칙만 따르니까 숫자를 미리 텍스트로 변환해줘야 한다. 한국어도 "2024년 3월 15일" → "이천이십사년 삼월 십오일"로 바꿔 넣으면 훨씬 매끄럽다.

시간 표기도 마찬가지. "3:15"를 영어로 "three fifteen"이라 읽지만, 한국어에선 "세 시 십오 분" 또는 "세 시 십오분"이 자연스럽다. 그냥 콜론 던져주면 "삼 십오"로 나와버린다.

속도와 피치 미세 조정은 수학, 감이 아니다

같은 한국어 문장이라도 속도 1.0이면 급한 뉴스 앵커, 0.9면 졸린 라디오 DJ 같다. 내 테스트에선 0.93~0.95 사이가 일상 대화 템포와 가장 가까웠다. 피치는 평서문 끝에서 -2~ -3 반음 내리고, 의문문에서 +3~+4 반음 올리면 사람 같은 억양이 잡힌다. 이 수치는 오디시티(Audacity) 같은 무료 툴로 실제 성우 녹음 파일을 분석해 뽑은 값이다.

무료 도구로 디테일 잡기

지금 내 워크플로는 이렇다.

  1. 온라인 텍스트 음성 변환 에서 다국어 스크립트 구간별로 생성
  2. 무료 음성 복제 로 핵심 내레이터 목소리 미세 조정
  3. 더 많은 튜토리얼 에 정리된 파라미터 표(속도·피치·멈춤)를 일괄 적용

회원가입 없이, 호출 횟수 제한도 없고, API 키만 있으면 자동화 파이프라인에도 바로 꽂을 수 있다. 가입 없이 음성 합성이 진짜 가능한 셈이다.

감정 마커라는 숨은 기능

대부분 SSML 태그를 지원하는데, 정작 쓰는 사람은 드물다. <emphasis level="strong"> 로 핵심 단어를 강조하고, <break time="200ms"/> 로 호흡을 넣어주면 전역 파라미터 만지는 것보다 훨씬 정교하다. 지난달 프랑스어 프로모션 때 "incroyable" 앞뒤로 200ms 멈춤 주고 emphasis 태그 달았더니 클라이언트가 "진짜 성우 쓴 줄 알았다"고 물어봤다. 문서 깊숙한 곳에 숨어 있어서 모르고 지나치기 쉽지만, AI 더빙 무료로도 이 정도 퀄리티가 나온다.

FAQ

왜 한국어 문장 안에 영어 단어가 섞이면 알파벳 하나하나 읽히나요?

대부분 모델이 단일 언어 토크나이저를 쓰기 때문입니다. 스크립트에서 <lang=en> 태그로 감싸거나, 영어를 별도 세그먼트로 합성해 붙이면 해결됩니다.

한국어 속도 파라미터 몇으로 맞추면 자연스러운가요?

0.92~0.95 사이, 긴 문장 앞뒤에 150~200ms 멈춤 태그를 넣고 피치를 평서문 끝에서 살짝 내리면 사람 같은 리듬이 나옵니다.

무료 도구로 생성한 오디오, 상업적 이용 가능한가요?

VoxClone 약관상 상업적 이용 허용이며, 모델 가중치 재배포만 금지합니다. 생성된 오디오 저작권은 생성자에게 귀속됩니다.

다음 프로젝트에선 한국어 내레이션 속도 0.93, 각 절 뒤 180ms 멈춤, 평서문 끝 피치 -2.5 반음으로 세팅하고 한 번 더 들어볼 생각이다. 그때쯤이면 "로봇 목소리" 소리는 안 듣지 않을까.