참고 오디오 어떻게 녹음해야 AI 목소리가 로봇 같지 않을까?
지난주 친구가 스페인어 제품 소개 영상을 만들려고 했는데, 휴대폰 마이크에 대고 한국어 대본을 한 번에 읽어 넣더라. 결과물을 들어보니 단어 하나하나 또렷한데 문장 사이가 기계처럼 딱딱해서 웃음이 나왔다. 다시 녹음해주니 완전히 다른 사람 목소리가 나왔다.
문제는 무료 음성 복제 기술이 아니라, 어떤 소스를 넣어주느냐다. AI는 네가 준 소리 그대로 흉내낸다. 오늘은 내가 삽질하며 터득한 세부 사항을 전부 털어놓는다.
바닥 소음: 로봇 느낌의 주범
가장 많이 놓치는 게 바닥 소음이다. "조용한 방이면 충분해"라고 생각하지만, 컴퓨터 팬, 에어컨 윙윙거림, 창밖 차 소리 같은 저주파 잡음이 섞이면 클론 목소리가 뭉개진 플라스틱처럼 들린다.
같은 문장으로 테스트해봤다. 잡음 있는 버전과 깨끗한 버전으로 각각 클론을 돌렸더니, 전자가 확실히 더 "인조" 느낌이었다. Audacity 파형 보면 바닥이 울퉁불퉁하게 깔려 있다.
해결은 간단하다. 녹음 전 팬·에어컨 끄고, 휴대폰을 입에서 한 뼘쯤 떨어뜨려 놓고, 가능하면 라벨 마이크나 다이내믹 마이크를 쓴다. 어쩔 수 없이 잡음이 들어갔으면 노이즈 리덕션 플러그인으로 살짝만 걷어내자. 너무 강하게 걸면 목소리가 공허해진다.
또 하나, 마이크와 입 사이를 주먹 한 개 거리로 유지한다. 너무 가까우면 파열음·치찰음이, 너무 멀면 방음 잔향이 들어가서 둘 다 클론 결과에 "종이 한 장" 같은 거리감을 준다.
숨쉬기와 억양: AI에게 "숨"을 가르치자
두 번째는 멈춤이다. 사람 말에는 숨 고르기, 생각 틈이 있다. 그런데 참고 오디오 녹음할 때 "한 번에 다 읽자"고 달려들면 클론이 기관총처럼 튀어나온다.
나는 쉼표·마침표마다 0.3~0.5초 자연스럽게 쉬고, 마침표 앞에서는 살짝 톤을 떨어뜨린다. 그러면 AI가 문장 경계를 배워서 출력할 때도 적절한 호흡과 억양 변화를 넣어준다.
억양도 똑같다. 밝은 톤 원하면 참고 오디오에 웃음기 담고, 차분한 톤 원하면 목소리를 낮춰 읽는다. 후처리로 감정 태그를 붙이는 건 소용없다. AI는 발성 방식을 배운다.
실험 삼아 물음표 억양 강한 문장을 넣었더니, 클론이 나중에 물음문 읽을 때 꼬리가 자연스럽게 올라갔다. 이게 참고 오디오에 숨겨진 "메타 정보"다.
작은 팁: 여러 번 녹음해서 가장 자연스러운 테이크를 고른다. 첫 테이크는 긴장해서 말이 빨라진다.
다국어 더빙할 때 특히 조심할 점
한국어 참고 오디오로 영어·일어를 뽑으려면 한국어 특유의 "ㄹ" 받침, 경음, 약음이 목표 언어로 넘어가지 않게 해야 한다.
예전에 일어 더빙할 때 참고 오디오에 서울 사투리 "~했어" 같은 "ㄹ"이 섞여 있었는데, 클론된 일어가 매 음절 끝에 "루" 비슷하게 붙어서 정말 이상했다. 표준어만으로 다시 녹음하니 깔끔해졌다.
말속도도 맞춰준다. 일어가 한국어보다 약간 빠르니까 참고 오디오도 살짝 빠르게, 독일어는 느리게 읽는다. 단, 억지로 속도 조절하면 AI가 "끊어 읽기"를 배운다.
온라인 텍스트 음성 변환 도구에서 문장 부호를 활용하면 더 정교해진다. 줄임표 "…"로 긴 멈춤, 느낌표로 강조, 이렇게 표준어 참고 오디오의 호흡과 결합하면 효과가 꽤 좋다.
더 많은 팁 에서 본 아이디어인데, 같은 목소리로 여러 언어를 뽑을 때 언어별 참고 오디오를 따로 두 개 준비하면(한국어 1분, 목표 언어 1분) 발음·리듬을 각각 학습해서 단일 언어 참고 오디오보다 훨씬 자연스럽다.
장비 선택: 휴대폰도 충분, 단 조건이 있다
조용한 방에서라면 휴대폰 내장 마이크도 괜찮다. 단, 손에 쥐고 녹음하지 마라. 손 마찰음, 숨소리가 다 들어가서 클론이 이불 뒤집어쓴 소리처럼 된다. 거치대에 가로로 세워 입에서 한 뼘 떨어뜨려 놓으면 바로 티가 난다.
여유 되면 2~3만 원대 라벨 마이크나 입문용 다이내믹 마이크 하나 사자. 다이내믹은 주변 소음에 강해서 집에서도 쓸 만하고, 콘덴서는 디테일 좋은 대신 오디오 인터페이스·팝필터까지 챙겨야 치찰음이 AI에 전이되지 않는다.
후처리: AI에게 여지를 남겨라
녹음 끝났다고 바로 128kbps MP3로 압축 올리지 말자. 44.1kHz / 16-bit WAV 원본을 유지해서 모델이 전체 스펙트럼을 보게 한다. 편집은 두 가지만: 앞뒤 긴 무음 자르고, -1dB 피크 노멀라이즈.
컴프레서, 익사이터, "보이스 인핸스" 프리셋은 금물이다. 자연스러운 숨소리·꼬리 소리가 다 깎여서 AI가 "방송 톤"을 배우고, 생성 결과가 더 로봇처럼 된다.
실전 케이스: 30초 숏폼 내레이션 전체 흐름
지난주 30초 제품 숏폼 내레이션을 휴대폰+라벨 마이크로 끝냈다. 조용한 침실에서 에어컨 끄고 미지근한 물 한 모금 마시고, 대본을 의미 단위 5토막으로 나눠 각 토막 사이 0.5초 공백 뒀다. 세 번 녹음해 가장 매끄러운 테이크 골라 노멀라이즈만 하고 무료 음성 복제에 올렸다.
생성 후 3번째 토막이 살짝 빨라서, 원문에서 핵심 단어 앞에 쉼표 두 개 넣고 재생성했더니 호흡이 여유로워졌다. 오디오를 영상 컷 포인트에 맞춰 자르고 배경음 깔아 올렸더니 댓글에 "이거 진짜 사람 목소리야? AI야?"라는 반응이 달렸다. 딱 내가 원하던 지점이다.
자주 묻는 질문
참고 오디오 얼마나 길게 녹음해야 하나요?
최소 2분, 권장 5분 내외. 너무 짧으면 억양 패턴을 못 배우고, 너무 길면 발음 기복이 섞인다. 나는 3분 정도에 평서문·의문문·감탄문 골고루 담는다.
휴대폰으로 녹음해도 되나요?
된다. 단, 기본 녹음 앱은 압축이 심하다. iOS "음성 메모"나 안드로이드 서드파티 앱에서 무손실(WAV/FLAC), 44.1kHz 이상으로 설정하고, 가로 거치대에 올려 손으로 잡지 말 것.
클론 목소리가 여전히 기계 같으면?
먼저 바닥 소음·멈춤 자연스러움 확인. 그래도 그러면 무료 AI 더빙 텍스트 입력란에 쉼표·줄바꿈을 더 넣어 TTS가 구간별로 처리하게 유도한다. 또 "서울" 같은 지명을 "서 울"로 띄워 쓰거나 발음 기호로 풀어서 연결음 오류를 막는다.
다음에 참고 오디오 녹음하기 전, 팬 끄고 물 한 잔 마시고 뉴스 앵커처럼 감정 실어 읽어보자. 녹음 끝난 뒤 스스로 들어봤을 때 "친구랑 수다 떨 듯 자연스럽다" 싶으면 그 버전이 정답이다.
지금 가입 없이 음성 합성 페이지에 올려서 내 목소리로 한 문장 뽑아보고, 평소 내 말투랑 얼마나 다른지 비교해봐. 로봇과 진짜 사람의 거리, 사실은 한 번의 꼼꼼한 녹음 차이일 뿐이다.