AI 더빙이 진짜 사람처럼 들리는 비결, 숏폼 내레이션과 팟캐스트 오프닝의 차이에서 찾았다
지난달 친구 탐방 영상 15초짜리 편집을 도와줬다. 대본을 세 번 고쳤는데, 합성 음성이 나오자마자 "뉴스 앵커가 메뉴판 읽는 것 같아" 라는 말이 튀어나왔다. 도구 평판은 좋은데 왜 이러지? 같은 대본으로 끊어 읽기, 숨 쉴 틈, 조사 하나만 바꿔 넣었더니 갑자기 자연스러워졌다.
숏폼 내레이션: 빠른 템포에서 기계 맛 숨기기
숏폼은 빠르다. 정보 밀도 높고 BGM도 시끄럽다. 진짜 성우라면 친구랑 수다 떨듯 톤을 올리고, 끝소리를 살짝 올린다. AI는 일정한 속도로, كل 글자를 똑같이 힘주어 읽는다. "닭볶음탕" 세 글자가 뉴스 톤으로 나와 버린다. 온라인 텍스트 음성 변환에서 문장을 잘게 쪼개고, 마침표 대신 쉼표를 넣고, 동사 앞에 줄임표를 넣었더니 리듬이 확 달라졌다. 요즘 무료 TTS 음색은 이미 꽤 괜찮은데, "비슷하다" 와 "쓸 만하다" 사이엔 리듬의 강이 흐른다. 숏폼 만드는 분들은 무료 텍스트 음성 변환으로 대본을 먼저 입으로 읽어보세요. 입에서 걸리는 지점이 AI가 틀리는 지점이다.
팟캐스트 오프닝: 천천히 가면 더 어렵다
팟캐스트 오프닝은 30초, BGM 없이 드라이한 목소리만 나간다. 귀가 스피커에 붙는 느낌이라 AI가 너무 깨끗하면 오히려 가짜 같다. 진짜 사람은 "어―", "음―" 같은 추임새, 입술 부딪치는 미세한 숨소리, 숨을 들이마실 때 가슴 울림이 있다. 무료 음성 합성으로 건조한 출력만 비교해 봐도 결론은 같다: 느린 콘텐츠에선 기계적 떨림이 무한 확대된다. 더 예쁜 음색보다 "가공되지 않은 현장감" 이 필요하다.
배경음악이 가려주지 못하는 것
지난주 뷰티 채널 인트로에 강한 일렉트로닉 비트를 깔아 AI 목소리 딱딱함을 덮으려 했다. 그런데 볼륨을 키울수록 기계 맛이 더 튀었다. 드럼 비트와 합성 음성 주파수가 부딪쳐 두 고장 난 가전제품이 싸우는 꼴이었다. 결국 BGM을 끄고 드라이 음성만 들어보니 문제는 볼륨이 아니라 멈춤 위치였다. 숏폼에 음악 깔기 전에 무료 음성 복제로 만든 드라이 음성을 한 번만 들어보세요. 어색한 곳은 문장 부호로 고치고, 음악으로 덮으려 하지 마세요. 음악은 정적만 가릴 뿐, 기계적 리듬은 못 가린다.
내가 겪은 함정: 음색만 복제하고 ‘연기’를 잊다
가장 크게 넘어진 건 음색만 복제하면 끝이라고 생각한 순간이다. 기술 뉴스 더빙에 내 평소 말투 녹음을 샘플로 올렸더니, 네모난 고객센터 멘트처럼 평평하게 나왔다. 그제야 알았다: 나는 "목소리" 만 줬지 "말하는 방식" 은 안 줬다. 무료 음성 복제 할 때 샘플에 화난 톤, 신난 톤, 피곤한 톤, 일부러 한숨·웃음·빠른 말투를 넣었더니 모델이 말하는 습관 을 학습했다. 내 목소리 복제 하실 분들은 낭독 원고만 넣지 마시고, 입에 붙은 구어체·추임새·감정선을 넣으세요. VoxClone의 가입 없이 음성 합성 기능은 폼 작성 없이 오디오만 던지면 바로 테스트 가능해 게으른 저한테 딱 맞는다.
음성 복제 샘플 속 환경음
카페 와이파이 빌려 폰으로 2분 녹음해 샘플로 썼더니, 멀리서 갈리는 그라인더 소리와 컵 부딪치는 소리가 따라붙었다. 청취자들 "옆 테이블 엿듣는 줄" 이라고 했다. 나중에 방에서 에어컨 끄고 이어폰 마이크로 30초만 깨끗하게 녹음했더니 음색도, 숨소리도 훨씬 자연스러웠다. 샘플 길이가 길수록 좋은 게 아니다. 30초 안에 자주 쓰는 톤과 감정만 다 담으면 된다. 녹음할 때 에어컨 소음이나 차 소리가 들어가면 AI가 그걸 목소리 일부 로 착각해 음성 복제 온라인 결과물에 바닥 잡음이 따라온다.
각기 다른 콘텐츠에 같은 속도 쓰지 않기
팟캐스트 오프닝용 느린 속도로 30초 제품 리뷰 더빙했더니 친구가 "빨리 감고 싶다" 고 했다. 숏폼은 빠르고, 팟캐스트는 느리고, 오디오북은 안정감이 필요하다. 같은 음색이라도 장면마다 속도 파라미터 를 바꿔야 한다. 요즘은 온라인 텍스트 음성 변환에서 0.9×, 1.0×, 1.2× 세 버전을 뽑아 각각 들어보고 골라쓴다. 한 세트 파라미터로 모든 대본 돌리면, 음색 아무리 좋아도 위화감이 남는다. 당신도 한번 해보셨나요?
손에 익은 몇 가지 ‘뻔한’ 방법
여전히 내가 실무에서 쓰는 소소한 꼼수들:
- 동음이의어는 수동으로 확인 – "기시" 와 "실제" 가 헷갈릴 때가 많다.
- 문장 부호는 숨이다 – 멈춰야 할 곳에 쉼표 하나 더 찍는다.
- 생성 후 세 번 듣기 – 두 번째는 스피커로 크게 틀면 작은 스피커에서 안 보이던 틈이 보인다.
내 작업 흐름은 대충 이렇다: 대본 붙여넣기 → 쉼표·줄임표 손수 넣기 → 음색 고르기 → 듣기 → 미세 조정. 무제한 텍스트 음성 변환 덕분에 글자 수 세며 아끼지 않아도 된다. 프로그래밍 방식으로 처리해야 하면 무료 음성 합성 API 문서를 더 많은 튜토리얼에서 확인하면 된다. 가끔 쓸 거라면 온라인 텍스트 음성 변환 무료 웹 버전만으로 충분하고, 처음부터 복잡한 무료 음성 복제 소프트웨어 찾느라 시간 쓰지 마라.
며칠 전 지식형 팟캐스트 오프닝 의뢰가 들어왔다. 이번엔 바로 합성 안 하고, 대본을 폰 메모장에 저장해 출퇴근길에 두 번 읽으며 숨 쉴 자리를 표시했다. 표시된 대본을 온라인 텍스트 음성 변환에 붙여넣고, 앞서 복제해 둔 음색으로 생성 – 원테이크로 끝났다. 청취자 댓글에 "이번 회 인트로 녹음실 바꿨나요?" 라는 말이 달렸다. AI 더빙이 진짜 같으냐 아니냐는 알고리즘이 아니라, 당신이 그 글을 먼저 "사람 말" 로 읽어보려 했느냐 에 달린 것 같다. 최근에 어떤 AI 더빙에 속아보셨나요?