시장통 녹음으로 외할머니 목소리 복제했다가 망한 썰
작년 겨울, 나도 모르게 로맨틱하다고 생각한 짓을 저질렀다.
외할머니는 여든셋, 우리 동네 동쪽 끝에서만 쓰는 옛 사투리를 쓰신다. 젊은 층엔 이미 거의 사라진 억양이다. 할머니가 아직 계실 때 목소리를 남겨서, 매년 설날마다 들려주는 ‘음성 편지’를 만들고 싶었다.
휴대폰 꺼내서 부엌에서 30분쯤 녹음했다. 가스레인지에선 돼지갈비가 끓고, 환풍기 윙윙, 창밖엔 고물상 트럭이 ‘구형 냉장고, 구형 TV’ 외쳐대고. 그냥 녹음만 끝내고 바로 클론 툴에 던져봤다.
나온 소리는… 외할머니 같은데 감기 걸린 듯, 입에 사탕 물고, 터널 안에서 말하는 할머니 같았다. 첫 버전, 완전 망했다.
도구 탓 말고 녹음 탓부터 하자
당시 내 반응은 전형적이었다. 툴을 바꿔보자. 웹 버전, 클라이언트, 무료 음성 복제라고 광고하는 곳, 유료 서비스까지 거의 다 돌려봤다.
결과는 똑같았다.마다 ‘터널 맛’이 났다. 그제야 인정했다. 문제는 모델이 아니라 내가 먹인 30분짜리 쓰레기 녹음이라는 걸. 모델은 ‘외할머니 목소리’를 배우는데, 그 30분 중 할머니 목소리는 고작 30%고 나머지 70%는 환풍기, 냄비 끓는 소리, 멀리 짖는 개, 타일 벽에서 튕기는 잔향이다.
들려준 대로 배운다. 환풍기 소리까지 할머니 일부로 받아들인다.
복기해 보니 세 가지 실수, 하나하나가 더 바보 같았다
첫째, 부엌에서 녹음했다. 부엌은 집 안에서 잔향이 가장 심한 곳 중 하나다. 딱딱한 타일, 유리창, 금속 냄비… 소리가 이리저리 튄다. 사투리는 미세한 성조로 의미를 나누는데, 잔향이 덮이면 그 미묘한 조값이 다 평평해진다. 나중에 알게 됐지만, 조용한 작은 방, 창문 닫고 커튼 치고 이불 한 장 깔면 부엌보다 열 배는 낫다.
둘째, 할머니한테 ‘대본 읽기’를 시켰다. 내가 쓴 편지 프린트해서 읽어달라고 했다. 할머니는 느릿느릿, 한 글자 한 글자 띄워 읽으셨다. 초등학생 교과서 읽는 느낌. 사투리는 원래 이웃과 수다 떨 때 나오는 연음, 생략, 늘어진 끝소리다. 대본 읽을 땐 그게 싹 사라진다. 그래서 클론 목소리가 ‘표준어’처럼 너무 정갈해서, 할머니 같지 않다.
셋째, 길게 녹음하면 더 좋다 생각했다. 30분 찍었는데, 실제로 깨끗한 구간은 10분도 안 된다. 나머지는 소음과 멈춤. 휴대폰을 가스레인지 옆에 두고 녹음하니 거리가 들쑥날쑥, 볼륨도 오락가락. 이런 소재 넣으면 모델은 대충 윤곽만 익힌다.
재녹음 날, 이렇게 했다
일주일 뒤, 언니네 북향 작은 방으로 할머니를 모셨다. 이번엔 제대로 준비했다.
- 휴대폰을 스탠드에 고정, 입에서 20cm 정도, 끝까지 안 움직이게
- 창문·에어컨 끄고 커튼 치고, 폰은 비행기 모드
- 대본 읽기 대신 내가 질문하고 할머니가 자연스럽게 대답하게 — “어릴 때 설날 어떻게 보냈어?”, “엄마가 너 혼낼 때 뭐라고 했어?”
- 한 번에 5~8분씩, 녹음 끝나자마자 바로 들어보고 잡음 있으면 바로 다시
- 총 20분 정도 깨끗한 소재, 네 번에 나눠서 확보
녹음하면서 온라인 텍스트 음성 변환으로 편지 초안을 미리 들어봤다. 어차피 텍스트 음성 변환 무료라 부담 없이 시험 삼아 돌릴 수 있다. 사투리 특유의 “아이구”, “오모”, “너 알제?” 같은 감탄사가 어디에 들어가야 자연스러운지 감 잡기 좋다.
정식 합성 때 20분 소재 올리고 몇 분 기다렸다. 첫 마디 “아가야—” 나오자 언니가 옆에서 굳어버렸다. 끝소리가 살짝 내려가면서 살짝 긁히는 그 느낌, 딱 할머니였다.
편지 완성하고 나니
전체 편지를 26개 문단으로 쪼갰다. 각 문단 한두 문장, 어린 시절부터 나를 키워준 이야기까지. 문단이 많아지니 무제한 텍스트 음성 변환이 절실해진다. 중간에 끊기면 진짜 답답하니까. VoxClone 쪽은 가입 없이 음성 합성이라 회원가입·프로그램 설치 없이 웹에서 바로 된다. 언니네 컴퓨터엔 아무것도 안 깔려 있는데 링크만 열면 바로 시작이라 편하다.
한 가지 팁: ‘완벽한 음질’ 쫓지 마라. 숨소리, 침 삼키는 소리 조금 남겨두면 진짜 사람 같은 음성 합성 무료 느낌이 난다. 너무 깨끗하면 아나운서 같아서 할머니 같지 않다.
할머니 사투리가 워낙 강하면 소재가 아무리 깨끗해도 미세한 편차는 생긴다. 그때는 억지로 다 맞추려 하지 말고, 할머니가 가장 편하게 말씀하신 구간만 골라 집중 학습시키고, 나머지 문단은 일반 한국어 버전으로 섞어도 가족들은 위화감 없이 듣는다.
대량 처리해야 하면 무료 언어 합성 API로 텍스트 던져서 자동으로 오디오 뽑아내면 수십 개 문단도 금방 끝난다. 나처럼 1년에 한 번 하는 건 웹에서 클릭클릭으로 충분.
자주 묻는 질문
이미 시끄러운 소재로 녹음했는데 살릴 수 있나요?
조금은 가능하지만 큰 기대는 금물. 무료 AI 더빙 무료 툴에 있는 노이즈 리덕션 한 번 돌리거나, 편집 프로그램으로 잡음 심한 구간 잘라내고 깨끗한 부분만 남기면 된다. 그런데 깨끗한 구간이 3분도 안 되면 차라리 다시 녹음하는 게 낫다. 재녹음 2시간, 노이즈 제거 2주일 걸려도 결과가 안 좋을 수 있다.
사투리 복제와 표준어 복제, 난이도 차이는 어디에 있나요?
데이터량 차이. 표준어는 모델이 이미 엄청나게 많이 봐서 익숙한데, 지방 사투리, 특히 소도시 토속어는 학습 데이터가 적다. 그래서 음성 복제 온라인 할 때 소재 품질에 훨씬 민감하다. 네가 주는 1초 1초가 ‘순수’해야 한다. 또 사투리 성조 체계가 복잡해서 표준어에 없는 조값이 많다. 모델이 그걸 잡으려면 더 다양한 샘플이 필요하다. 일상 대화 많이 녹음하는 게 대본 읽기보다 백 배 낫다.
무료 도구로 어디까지 가능한가요?
목적에 따라 다르다. 가족 오디오북, 영상에 영상 내레이션 AI로 사투리 나레이션 넣기엔 충분하다. 오디오북 음성 만들기도 문제없고, 다국어 음성 합성 무료 인터페이스로 여러 언어 섞어도 된다. 대량 생성 필요하면 무료 TTS API 붙여서 큐 돌리면 된다. 근데 상업용 수준의 안정적인 장문 출력이 필요하면 전문 솔루션을 봐야 한다. 내 경험으론 영구 무료 음성 복제 루트가 일반인에겐 충분하다. 어차피 돈 안 드니까試錯 비용도 낮다. 더 자세한 튜토리얼은 동적 페이지에 올려뒀으니 필요하면 들러보라.
미루지 마라
외할머니는 재작년 가을에 돌아가셨다.
그 편지 음성 파일은 지금 내 폰에도, 클라우드에도 있다. 올해 설날 틀어놨을 때 엄마가 울고, 조카딸이 멍하니 “이게 누구 목소리야?” 물었다. 아이는 아직 못 알아듣는다. 하지만 나중에 커서 말해줄 거다. “이게 증조할머니 목소리야, 우리 고향 말이야.”
너희 집에도 그런 어른 계시면 미루지 마. 조용한 오후, 에어컨 끄고 휴대폰 거치대 세워놓고 “어릴 때 설날 어떻게 보냈어?” 한 마디만 물어봐라. 나머지는 도구가 알아서 해준다.
참고 링크: 무료 음성 복제 도구 · 온라인 텍스트 음성 변환 · 동적 페이지