AI 더빙이 왜 로봇처럼 들릴까? 무료 음성 복제 한 번 돌려보고 깨달은 것들

지난주에 지인 유튜브 영상 편집을 도와줬는데, 내레이션을 대충 아무 무료 TTS에 돌렸다가 들어본 순간 — 딱 한마디가 돌아왔다. "이건 사람이 아니라 지하철 안내방송이잖아." 그 순간 생각했다. 인터넷에서 난리 나는 무료 AI 더빙, 다 이 정도인가? 반신반의하면서 VoxClone이라는 사이트를 열어 처음부터 끝까지 돌려봤는데… 결과가 좀 뻔뻔하게 내 예상을 깼다.

내 솔직한 편견: 공짜에 뭐가 있겠어

영상 만드는 사람들은 안다. 더빙은 예전엔 돈 주고 맡기거나, 아니면 목 쉬어가면서 직접 녹음하거나 둘 중 하나였다. AI 더빙이 나온 뒤에도 무료 도구들은 거의 비슷한 병을 갖고 있었다. 억양이 평평하고, 끊어 읽기가 경직돼 있고, 감정이 가짜다. 한 번 들으면 바로 이탈하는 그 느낌.

그래서 VoxClone 첫 페이지(https://ko.web666.cc/)를 열 때도 껍데기만 있는 툴이겠거니 하고 들어갔다. 가입 없이 음성 합성이 된다고 하길래 — 잠깐, 그럼 사용자 데이터는 어디에 저장되는 건가 싶어서 더 의심했다. 그래도 로그인도 안 하고 휴대폰 번호도 안 내는 구조라, 해보는 데 손해는 없다고 판단하고 시작했다.

진짜 갈림길은 넣는 녹음 샘플이다

음성 복제 페이지로 바로 들어가서 테스트했다. 여기서 한 가지는 확실히 말해두고 싶다. AI가 사람처럼 들리는지는 70%가 당신이 녹음한 그 30초가 결정한다.

첫 녹음은 거실에서 했다. 냉장고 돌아가는 소리가 웅웅대는데, 복제된 목소리에 뭔가 통에 담은 듯한 잔향이 끼었다. 두 번째는 방문 닫고 침실에서, 휴대폰을 입에서 20cm 정도 두고 평소 말하는 소리로 30초쯤 읽었다. 같은 도구인데 결과가 완전히 달랐다. 조용한 환경, 선명한 발음, 자연스러운 말투 — 이 세 가지가 녹음 길이보다 훨씬 중요하다.

놓치기 쉬운 디테일 하나 더. 샘플 녹음할 때 아나운서 톤을 쓰지 마라. 친구랑 얘기할 때처럼 말하면, 내 목소리 복제 결과도 '나'로 나온다. 뉴스 앵커로 나온다면 그건 녹음 단계에서 이미 잘못된 거다.

두 번째 함정은 텍스트다: 문장부호가 곧 연출자

목소리 복제가 끝났으면 더빙 차례. 탐방 영상 대본을 텍스트 음성 변환 무료 도구에 넣었는데, 첫 버전은 통째로 복붙했다가 또 익숙한 로봇 톤이 나왔다. 문제는 도구가 아니라 나였다. 문장부호 리듬 없는 긴 글은 누가 읽어도 평평하다.

이후 긴 문장을 짧게 쪼개고, 쉬어야 할 곳에 쉼표와 마침표를 확실히 찍고, 강조할 단어 앞뒤에는 감탄사나 어미를 살짝 얹었다. 같은 목소리인데 두 번째 버전은 누군가 옆에서 얘기하는 느낌으로 바뀌었다. 결국 TTS는 문장부호를 보고 연기한다. 부호를 섬세하게 쓰면 연기도 섬세해진다.

참고로 글자수 제한 없이 넣을 수 있어서, 일부러 2천 자짜리 장문을 밀어 넣어봤는데 막힌 적이 없다. 중장편 영상 내레이션 AI를 찾는 사람한테는 꽤 실질적인 부분이다. 무료 도구들이 여기서 많이 걸리거든.

그래서 진짜 무료냐

지금까지 써보면서 내보내기 결제, 횟수 잠금 같은 건 한 번도 만나지 못했다. 음성 합성 무료 클론이랑 생성 모두 바로 결과가 나온다. 다만 늘 가지는 습관 하나 — 무료 도구에는 너무 민감한 내용을 올리지 않는다. 이건 상식이지 도구의 문제가 아니다.

무료 음성 복제에 녹음은 얼마나 해야 하나요?

30초에서 1분이면 충분하다. 길이보다 중요한 건 조용한 환경, 또렷한 발음, 평소 말투다. 자연스럽게 녹음할수록 복제 결과가 나를 더 닮는다.

복제한 목소리를 바로 상업적으로 써도 되나요?

목소리 출처는 본인이거나 허락을 받은 사람이어야 한다. 이건 본인이 확인해야 한다. 기술적으로는 내보낸 오디오를 그대로 쓸 수 있지만, 남의 목소리로 남을 곤란하게 만드는 일은 하지 말자.

마이크가 없는데 휴대폰 녹음으로 괜찮나요?

괜찮다. 나도 조용한 방에서 휴대폰으로 녹음했는데 충분히 쓸 만했다. 핵심은 입가에 가까이 두고 배경 소음을 없애는 것. 지하철에서 녹음하지는 마라… 진짜 그런 사람을 본 적이 있다.

몇 가지 담백한 정리

AI 더빙이 사람처럼 들리는지는 도구가 절반, 나머지 절반은 사용자 몫이다. 녹음을 깨끗하게 하고, 대본 문장부호를 섬세하게 쓰고, 원클릭에 감정까지 나오길 기대하지 않는 것. 오디오북 음성 만들기나 다국어 음성 합성 무료 옵션까지 필요하다면 더더욱 준비 단계가 반 이상이다.

오늘 해볼 것 하나 추천한다. 지금 바로 30초짜리 평상시 말투를 녹음해서 복제해보고, 최근에 쓴 글 한 단락을 읽게 해보라. 그 목소리를 듣고 나면 문제가 도구에 있었는지 나에게 있었는지 바로 알게 된다. 추가 팁이나 업데이트는 소식 페이지에서 확인할 수 있다.