AI 더빙이 로봇처럼 들리는 진짜 이유, 참고 음원에서 답이 나온다
지난달에 친구 숏폼 영상 하나 더빙해주다가 좀 창피를 당했습니다. 똑같은 대본, 똑같은 툴을 썼는데 친구가 만든 건 심야 라디오 DJ 같은데... 제가 만든 건? 내비게이션이 혀 안 굴러가는 발음으로 읽어주는 그 느낌, 아시죠.
처음엔 운인가 싶었어요. 근데 알고 보니 문제는 참고 음원이었습니다. 이건 업계 사람들이 굳이 안 알려주는 팁인데, 너무 기본이라 다들 알고 있다고 가정하기 때문이더라고요. 오늘은 제가 밟았던 함정들 전부 풀어놓겠습니다.
AI는 창작하는 게 아니라 당신을 따라 하는 겁니다
무료 음성 복제에 대한 흔한 오해가 하나 있어요. 음성 파일 하나 던져 넣으면 AI가 알아서 좋은 목소리를 만들어준다고 믿는 거죠. 아닙니다. AI가 배우는 건 당신이 준 음원 속의 음색, 말 속도, 호흡 습관, 심지어 녹음할 때의 흠집까지 전부입니다.
녹음할 때 긴장해서 뻣뻣하게, 한 글자 한 글자 끊어 읽었나요? 그럼 클론된 목소리도 뻣뻣하고 끊어 읽습니다. 그러니까 'AI 더빙이 어색하다'기보다는... 애초에 참고 음원이 사람이 자연스럽게 말하는 소리가 아니었던 겁니다.
참고 음원 녹음, 이것만은 지키세요
장비보다 환경이 중요합니다. 비싼 마이크에 집착하기 전에 이 세 가지부터 해결하세요.
- 조용한 작은 방을 고르세요. 의류장 옆이 의외로 좋습니다. 옷이 소리를 흡수하거든요
- 스마트폰을 너무 가까이 두지 마세요. 주먹 하나 반에서 두 개 정도 거리면 팝 노이즈를 피할 수 있습니다
- 처음부터 끝까지 같은 음량으로. 콩다콩다 하면 안 됩니다
길이는 30초에서 1분이면 충분해요. 너무 짧으면 음색을 다 못 배우고, 너무 길어도 의미가 없습니다. 대본을 딱딱하게 읽지 말고, 평소에 말하는 톤을 골라보세요. 억양에 살짝 굴곡이 있어도, 살짝 웃음기가 섞여도 좋습니다. 평소 대화에서 말끝을 흐리거나, 끝을 올리거나 하잖아요? 그 '사람 냄새'가 참고 음원에도 있어야 합니다.
녹음 끝나면 본인이 먼저 들어보세요. 본인 귀에도 어색하면... AI한테 기대할 게 아닙니다.
대본을 어떻게 쓰느냐가 더빙 퀄리티를 가릅니다
참고 음원을 잡았으면 이번엔 합성할 대본 차례예요. 여기도 반전 포인트가 하나 있습니다. 더빙용 대본은 문어체로 쓰면 안 됩니다.
"이상의 내용을 종합하면, 본 제품은 이러한 장점을 지닙니다" — 이거 누가 읽어도 로봇입니다. "그러니까 결론은, 이거 진짜 쓸 만하다"로 바꾸면 분위기가 확 달라지죠. 문장부호도 리듬입니다. 쉼표는 짧은 쉼, 마침표는 긴 쉼, 대시는 자연스러운 숨 고르기 자리를 만들어줍니다.
VoxClone에서 온라인 텍스트 음성 변환을 할 때 제 습관이 하나 있는데, 대본을 먼저 소리 내서 읽어보는 겁니다. 혀에 걸리는 부분은 전부 고치고요. 대본이 매끄러워야 목소리도 매끄럽습니다.
제가 직접 겪은 실패 사례들
배경에 에어컨 소리, 키보드 소리가 섞였나요? 클론 결과에 '사각사각'한 잡음이 깔리는데, 아무리 조정해도 안 없어져서 결국 재녹음했습니다. 배경음악이 섞인 음원도 마찬가지예요. AI가 멜로디까지 당신 음색의 일부로 학습해버려서... 나온 목소리가 굉장히 이상합니다.
영화 명장면 대사를 참고 음원으로 쓰는 분들도 있더라고요. 저도 해봤습니다. 감정 기복이 있어서 들리는 건 매력적인데, 막상 합성해보면 감정이 오락가락해서 같은 문장이 어떤 때는 높고 어떤 때는 낮습니다. 드라마틱한 느낌을 노리는 게 아니라면, 깨끗한 건조한 음원을 쓰는 게 정답입니다.
FAQ
참고 음원은 얼마나 길어야 하나요?
30초에서 1분이면 충분합니다. 길이보다 품질이 중요해요. 조용하고, 깨끗하고, 톤이 자연스러운 30초가 5분짜리보다 낫습니다.
스마트폰으로 녹음해도 되나요?
됩니다. 요즘 폰 마이크 성능이 나쁘지 않아서, 조용한 환경이면 충분히 쓸 만합니다. 단, 스피커폰은 끄고, 차 안에서는 녹음하지 마세요. 잔향이 심합니다.
무료 툴 퀄리티도 실용 수준인가요?
충분합니다. 저는 요즘 VoxClone의 무료 음성 복제를 상용 중인데, 가입 없이 음성 합성이 가능해서 페이지 열고 음원 올리면 바로 테스트됩니다. 가끔 한 번 쓰는 사람한테 이게 진짜 편해요. 결과가 마음에 안 들면 십중팔구는 참고 음원 문제지, 툴 문제가 아닙니다.
마치며
결국 AI 더빙이 사람처럼 들리느냐는, 7할은 참고 음원, 3할은 대본이 결정합니다. 툴은 오히려 고민할 필요가 없는 부분이고요. 어차피 틀려도 돈 안 나가니까요. 지금 더빙하고 싶은 대본이 손에 있다면, 조용한 구석에서 30초짜리 음원 하나 녹음해보세요. 튜토리얼 열 개 읽는 것보다 빠릅니다. 참고로 다국어 음성 합성 무료 기능도 있으니, 영어·일본어 영상 내레이션 AI가 필요할 때 같이 써보세요.