지난달에 인터넷 강의 만드는 친구 강의자료 더빙을 도와줬는데, 친구가 합성된 음성 파일을 보내줬어요. 첫 문장 듣자마자 웃음이 나왔습니다. 로봇 톤인데... 거기에 잡음까지 섞여 있더라고요. 친구는 억울해하면서 '똑같은 도구 썼는데 왜 나만 AI 티가 나냐'고 했죠.

그래서 음성 복제에 쓴 참조 오디오를 달라고 했습니다. 들어보니... 30초 안에 문제가 전부 있었어요.

참조 오디오가 목소리 퀄리티를 결정합니다

많은 분들이 무료 음성 복제 결과가 도구를 타고 있다고 생각하는데, 사실 도구는 절반이에요. 나머지 절반은 전부 여러분이 넣어주는 참조 오디오에 달려 있습니다. 모델은 샘플을 그대로 따라 배우니까, 샘플에 결점이 있으면 그 결점을 그대로 확대해버려요.

친구 오디오는 에어컨 켠 침실에서 녹음한 거였어요. 저음 웅웅거리는 배경 소음이 깔려 있었고, 모델이 배운 목소리도 당연히 '서버실 감성'이 됐죠. 더 큰 문제는 대본을 읽는 방식이었습니다. 한 글자 한 글자 끊어서, 초등학생 암송하듯 읽은 거예요. 모델이 학습한 톤이 그거니까, 합성된 강의 음성도 그 톤일 수밖에요.

그러니 도구부터 바꾸려 하지 마세요. 먼저 자기 참조 오디오를 다시 들어보세요. 바닥 소음은 없는지, 톤이 너무 평평하지는 않은지, 침 발음이나 팝 노이즈는 없는지요.

로봇처럼 안 들리게 녹음하는 법

제가 삽질 끝에 정리한 건데, 다 소박한 팁인데 다 통합니다.

  • 환경: 에어컨, 선풍기 끄고, 옷장 속이나 이불 속에서 녹음해도 됩니다. 핵심은 잔향과 저음 잡음 제거예요. 폰 기본 녹음 앱으로 충분해요. 비싼 장비 믿지 마세요. 장비가 비싸다고 환경이 조용해지진 않으니까요.
  • 길이: 30초에서 1분이 제일 안정적입니다. 너무 짧으면 모델이 다 배우지 못하고, 너무 길면 중간에 컨디션이 흔들린 것까지 학습해버려요.
  • 톤: 이게 제일 중요합니다. 평소 강의하거나 친구랑 얘기하는 그대로의 톤으로, 억양과 쉼을 살려서 말하세요. 강의에서 어떤 느낌을 원하는지 그 느낌 그대로 녹음하면 됩니다. 친근하게 하고 싶으면 웃으면서 녹음하고, 진지하게 하고 싶으면 좀 더 정색하고 말하면 돼요.
  • 내용: 자연스러운 문장을 읽으세요. 혀가 꼬이는 문장이나 전문용어 나열은 금물. 평소 속도로, 문장 사이에 숨 쉴 틈을 남겨두세요.

녹음 끝나면 본인이 먼저 한 번 들어보세요. 듣기 편하면 모델 결과도 대체로 편합니다.

제가 지금 강의 자료 더빙하는 전체 흐름

도구는 VoxClone을 씁니다. 이유는 간단해요. 회원가입 없이 음성 합성이 바로 되니까, 강의자료 하나 만들려고 계정 만들기부터 할 필요가 없거든요. 흐름은 이래요.

먼저 내 목소리 복제 페이지에서 녹음해둔 참조 오디오를 올리고 이름을 붙입니다. 예를 들면 '강의 여성 목소리-차분한 버전' 같은 식으로요. 그다음 온라인 텍스트 음성 변환 페이지에서 강의 대본을 붙여넣고, 아까 만든 목소리를 선택해서 생성, 미리듣기, 문장부호 살짝 고치고 다시 생성.

맞아요, 문장부호가 정말 중요합니다. 어디서 쉬게 하고 싶으면 쉼표나 마침표로 '지휘'하면 되고, 특정 단어를 강조하고 싶으면 문장 구조를 조금 바꿔주면 돼요. TTS는 여러분의 속마음을 모르니까, 문장부호가 곧 대본이에요.

그리고 대본 자체도 구어체로 바꿔주세요. 문어체를 그대로 넣으면 어딘가 어색하게 들립니다. '결론적으로'를 '그러니까 결국'으로 바꾸고, 긴 문장은 짧게 쪼개면 결과물이 한 단계 올라가요.

FAQ

참조 오디오는 꼭 직접 녹음해야 하나요? 영상에서 추출한 음원도 되나요?

됩니다. 다만 조건이 있어요. 배경음악이 없어야 하고, 여러 명이 말하면 안 되고, 잔향도 없어야 합니다. 인터넷 강의 영상이나 팟캐스트처럼 비교적 깨끗한 소스는 괜찮은데, 영화 클립은 거의 안 됩니다. BGM이 섞이면 복제된 목소리도 '영화관 감성'을 물려받거든요.

한 번 복제한 목소리는 계속 쓸 수 있나요?

네. 음성 복제가 끝나면 재사용 가능한 '음색'이 되어서, 이후 모든 강의 자료와 대본에 바로 쓸 수 있어요. 매번 다시 올릴 필요 없습니다. 스타일별로 여러 음색을 만들어두는 걸 추천해요. 설명용, 요약용, 사례용 이런 식으로요. 문단마다 바꿔가며 쓰면 처음부터 끝까지 한 톤인 것보다 훨씬 자연스럽습니다.

강의 대본이 긴데 한 번에 얼마나 변환할 수 있나요?

VoxClone은 제한 없는 텍스트 음성 변환을 지원해서, 긴 대본도 통째로 붙여넣으면 됩니다. 잘라서 넣을 필요 없어요. 다만 저는 개인적으로 챕터별로 나눠서 생성하는 편이에요. 특정 구간만 다시 만들기 편하고, 나눠진 오디오가 편집할 때도 훨씬 수월하거든요.

마치며

결국 강의 자료 음성 합성은 도구가 무료로 주어지고, 진짜 공력은 녹음하는 그 10분에 있습니다. 다음에 결과물이 로봇 같다고 느끼면, 도구부터 갈아끼우지 말고 참조 오디오를 다시 녹음해보세요. 조용한 구석에서, 평소 강의하듯, 웃으면서 그 30초를 말해보는 거예요.

한 번 해보면 차이를 바로 아실 겁니다. 녹음과 복제 관련 더 자세한 내용은 동적 페이지의 튜토리얼에서 실전 위주로 정리해뒀어요.