무료 음성 복제로 더빙하다 '행'이 '갱'으로? 내가 겪은 레전드 사건

지난주에 유튜브에 올릴 다큐풍 영상 하나 만들었어요. 내레이션을 녹음하기엔 목 상태가 별로라서, 요즘 핫하다는 무료 음성 복제 사이트를 써봤죠. 30초짜리 샘플만 넣으면 내 목소리가 그대로 재현된다길래, '에이 설마' 하면서도 해봤습니다.

결과? 웃음 사고 났습니다. 영상에서 "행복"이라고 해야 할 부분이 "갱복"으로 나오더라고요. 한자 독음 오류, 그놈의 한자 독음 오류. 댓글에 "갱복이 뭐냐"는 소리까지. 하하.

오늘은 그 사건을 계기로 알게 된 무료 TTS 사용법과, 더 중요한 저작권 문제를 좀 풀어보려고 해요. 특히 한국 사용자라면 한자 독음, 그리고 무료/무제한 여부가 제일 궁금하잖아요? 그거 집중적으로 파볼게요.

첫 번째 레슨: 레퍼런스 오디오가 반이다

제가 처음에 쓴 샘플이 뭐였게요? 핸드폰으로 찍은 브이로그에서 목소리만 잘라낸 거였어요. 주변에 카페 음악, 사람들 웅성임, 심지어 제가 침 삼키는 소리까지. 그걸 그냥 업로드했죠.

그 결과가 '갱복'이었고요.

무료 음성 복제든 유료든, AI가 목소리를 학습하려면 깨끗한 레퍼런스가 필수예요. 잡음 섞인 30초보다, 조용한 방에서 녹음한 10초가 백 배 낫습니다.

지금은 이렇게 해요:

  • 스마트폰 보이스레코더 켜고, 이불 속 같은 데서 녹음
  • 문장은 "오늘은 날씨가 좋네요. 여러분, 안녕하세요?" 같은 평범한 일상어로
  • 15~20초 정도, 너무 길 필요 없음
  • 파일은 m4a나 wav로, mp3도 되긴 하는데 wav가 안전

그리고 중요한 거! 한자 독음 오류는 레퍼런스로 해결 안 돼요. 그건 AI 모델 자체의 문제라서, 따로 설정을 만져야 합니다.

'행'이 '갱'이 되는 이유와 해결책

한국어 TTS에서 한자어는 진짜 골칫거리예요. '행복'이 '갱복'이 되는 건, AI가 한자 음가를 잘못 추정하기 때문. 특히 '행'은 '갱'으로, '락'은 '낙'으로 잘못 읽는 경우가 많아요.

VoxClone 같은 서비스는 발음 조정 기능이 있습니다. 텍스트 입력할 때 특수 기호로 발음을 강제로 지정할 수 있어요. 예를 들어 "행복"을 "행복"이라고 정확히 발음하게 하려면, 해당 음절에 악센트나 발음 기호를 붙여주는 식.

제가 써본 방법 중 제일 효과 본 건 이거예요:

  1. 텍스트를 넣고, TTS로 미리 듣기
  2. 이상한 발음이 나오는 단어를 찾아서, 그 부분만 괄호로 묶고 원하는 발음 표기
  3. 예: "(행)복" 이런 식. 근데 이건 서비스마다 문법이 다르니, 도움말 확인하세요.

무료 TTS 사이트들은 대부분 이런 세부 조절을 지원 안 하는 경우가 많아요. VoxClone은 다행히 지원해서, 그거 보고 신뢰가 좀 생겼습니다.

무료/무제한, 진짜일까?

솔직히 말할게요. '무료'라고 해서 무제한인 경우는 거의 없어요. 대부분 하루에 몇 분, 또는 몇 개의 생성만 허용하죠.

하지만 VoxClone은 가입 없이 음성 합성이 되고, 무료로 무제한 사용 가능하다고 해요. 제가 직접 써보니, 하루에 영상 3~4개 분량 내레이션 만들고도 제한 안 걸렸어요. 물론 서버 상황에 따라 느릴 때도 있지만.

그런데 잠깐, 무제한이면 뭐든 되는 거냐? 그건 또 아니에요. 저작권 문제가 따로 있거든요.

저작권: 내 목소리도 조심해야 한다

처음엔 '내 목소리인데 내가 왜 조심해?' 생각했죠. 근데 유튜브에 올리고 나서, 어떤 아저씨가 댓글로 "이거 니 목소리 맞냐? 나도 내 목소리로 AI 만들고 싶은데"라고 물어보더라고요. 그때 문득 든 생각: 내 목소리 데이터가 어디로 가는지, 누가 내 목소리로 사기 칠 수 있는지.

그래서 지금은 이렇게 합니다:

  • 상업적 사용 전에 서비스 이용약관 꼭 확인. VoxClone은 무료지만, 생성된 음성의 상업적 사용에 대한 명시가 있는지 확인했어요. 다행히 허용한다고 나와 있더라고요.
  • 참고 음성에 타인의 목소리나 저작권 있는 음원(영화, 드라마) 넣지 말 것. 이거 걸리면 바로 계정 정지.
  • 생성물에 AI 음성임을 명시하는 걸 추천. 유튜브 정책도 그렇게 하라고 하고, 시청자도 의외로 좋아해요.

실제로 제가 만든 오디오북 채널이 하나 있는데, 거기 모든 콘텐츠에 "AI 음성으로 제작"이라고 자막 넣었더니 오히려 신뢰가 쌓였어요.

실전: VoxClone으로 오디오북 만들기

오디오북 만들 때 오디오북 음성 만들기 검색 많이 하시죠? 저도 그렇게 시작했는데, VoxClone이 꽤 괜찮더라고요.

제 작업 순서예요:

  1. 책 텍스트를 복사해서 VoxClone 사이트에 붙여넣기
  2. 미리듣기 하면서 발음 이상한 곳 찾기
  3. 발음 조정 기능으로 수정 (한자어 특히)
  4. 감정 표현이 필요한 문장은 느낌표나 물음표로 강조
  5. 생성된 음성을 다운로드해서 편집 프로그램에서 배경음악과 합치기

이렇게 하면 1시간짜리 오디오북도 하루이면 만들어져요. AI 더빙 무료로 이 정도 퀄리티면, 저는 만족합니다.

마지막 팁: 그래도 사람 목소리는 못 따라와

솔직히, AI 음성은 아직 사람의 감정을 완벽히 따라오진 못해요. 특히 웃음, 울음, 반말과 존댓말 전환 같은 건 어색할 때가 많아요.

그래서 저는 중요한 영상은 직접 녹음하고, 긴 내레이션이나 더빙용으로만 AI를 써요. 음성 합성 무료가 이 정도면, 제 작업 효율이 두 배는 올라갔어요.

혹시 아직 무료 음성 복제 안 써보셨다면, 한번 VoxClone에서 내 목소리로 인사말 만들어보세요. 근데 '행복'이라고 입력하고 '갱복' 나와도 웃지 마세요. 그거 다 겪는 길입니다.

그리고 저처럼 웃음사고 겪지 않으려면, 첫 샘플은 꼭 조용한 곳에서 녹음하시고, 발음 조정 기능 미리 익혀두세요. 그럼 다음엔 진짜 '행복'하게 더빙할 수 있을 거예요.


이 글은 제 경험을 바탕으로 쓴 솔직한 후기입니다. 무료 음성 복제 관련 더 자세한 정보는 VoxClone 홈페이지와 음성 클론 페이지에서 확인하실 수 있어요. 다른 사용자들의 경험은 커뮤니티 글에서도 볼 수 있으니, 한번 둘러보세요.