"이 목소리가 AI라고?" 덕후들 난리 난, 방구석에서 애니메이션 더빙하는 법 (feat. 일레븐랩스 더빙 기능)

"와... 아카자가 한국어를 한다고?"

덕후들의 상상을 현실로 만들어주는 미친 기능,
일레븐랩스 'Dubbing Studio(더빙 스튜디오)'를 직접 써봤습니다.

하지만 AI도 실수를 한다는 사실, 알고 계셨나요?
완벽한 더빙을 위한 초반 필수 세팅법부터 수동 보정 노하우, 그리고 크레딧 함정까지 싹 다 공개합니다.

 

안녕하세요, 일레븐랩스 연구소입니다. ⚡

오늘은 제가 직접 제작한 [귀멸의 칼날: 무한성편] 예고편의 한국어 더빙 버전을 보여드리려고 합니다.
 성우 섭외? 녹음실? 하나도 안 썼습니다. 오직 AI로만 만들었습니다.

---

📺 1. 결과물 공개: 싱크로율 실화?

배경음악(BGM)과 효과음은 그대로 살리고, 일본어 대사만 한국어 AI 성우로 교체했습니다.
감정선과 복제된 목소리를 주목해서 들어보세요.

 

 

어떠신가요? "좋은 밤이군..." 하는 대사, 진짜 성우 같지 않나요? 😲

 

---

⚙️ 2. 시작이 반이다! (필수 세팅 가이드)

무작정 영상만 넣으면 실패합니다. 처음 설정을 어떻게 하느냐에 따라 퀄리티와 수정 가능 여부가 갈립니다.

 

🕵️‍♂️ 메뉴 진입 및 프로젝트 생성

Product -> Dubbing 클릭

 

 

① 언어 설정 (Language)

• Source: 원본 영상의 언어 (예: Japanese)
• Target: 바꿀 언어 (예: Korean)

 

② Create Dubbing project (체크 필수! ⭐)

• 이걸 체크해야만 나중에 타임라인에서 대사를 수정하고
  타이밍을 조절할 수 있습니다. (대신 크레딧 사용 多)

• 체크 안 하면 그냥 결과물 파일만 툭 던져줍니다. (수정 불가!)

 

③ Number of speakers (화자 수)

• 가능하면 영상에 등장하는 캐릭터가 몇 명인지 숫자를 넣어주세요.
• 정확히 넣을수록 AI가 "아, 이건 젠이츠 목소리, 이건 아카자 목소리" 하고 똑똑하게 구분합니다.
  (등장 인물이 너무 많으면 Auto도 괜찮습니다!)

 

④ Disable voice cloning (목소리 복제 여부)

• 체크 해제 (기본): 원본 목소리와 최대한 비슷한 톤으로 복제합니다.
• 체크 설정: 복제하지 않고 일레븐랩스 기본 성우 목소리로 바꿉니다.

---

🛠️ 3. AI는 거들뿐, 완성은 '사람'이 한다 (보정 꿀팁)

영상을 넣고 버튼만 누르면 뚝딱 나올 것 같죠? 절대 아닙니다.
제가 작업하면서 겪은 AI의 황당한 실수들과 해결 과정을 공유합니다. 이걸 모르면 영상 망칩니다.

 

🕵️‍♂️ 연구소장이 직접 수정한 포인트

초안 스튜디오 화면

① 이름 좀 제대로 불러라! (전사 오류)

• AI의 실수: 주인공 '젠이츠(善逸)'를 자꾸 '제이스'라고 번역함... (AI 전사 기능의 오류!)
• 👉 해결: 스크립트 창에서 직접 '젠이츠'로 수정해 줘야 합니다. 고유명사는 꼭 확인하세요!

 

② 안 들리는 척하지 마 (대사 누락)

• AI의 실수: 배경음악이 웅장하거나 캐릭터가 작게 속삭일 때 대사를 씹어먹습니다.
  (이번 영상에서도 "이이 요루다네(참 좋은 밤이구나)" 대사가 통째로 날아갔습니다.)
• 👉 해결: 타임라인을 더블 클릭해서 블록을 수동으로 추가하고 대사를 적어넣어야 합니다.

 

③ 번역투는 이제 그만 (초월 번역)

• AI 번역: "잔치 시간이다." (뭔가 동네 잔치 같음)
• 👉 수정: "연회 시간이다." (번역은 사이트내 AI번역 보다, 다른 AI(Chat GPT, Gemini 등을 쓰는게 더 자연스럽습니다!)

 

④ 타이밍과 감정 조절의 핵심 (Fixed vs Dynamic)

• 처음 더빙을 생성하면 길이가 제각각이라 영상 속 입모양(Lip-sync)과 미묘하게 안 맞을 때가 있습니다.
• 이때 타임라인에서 블록 길이를 마우스로 늘리거나 줄일 수 있는데, 중요한 건 설정값입니다.

 

🎯 Dynamic Duration (기본값)
블록 길이를 아무리 늘려도 AI는 원래 속도대로 읽어버립니다.
자연스럽긴 하지만, 캐릭터가 길게 끄는 대사를 칠 때는 감정이 부족하고 급하게 끝나는 느낌이 듭니다.

 

🎯 Fixed Duration (필수 ⭐)
타임라인에서 블록을 길게 늘린 뒤, 이 버튼을 누르면 그 길이에 맞춰서 말하는 속도를 조절합니다.
늘린 만큼 천천히, 듬들이며 말하기 때문에 감정 표현이 훨씬 풍부해지고 싱크 맞추기가 쉽습니다.

 

"이 두 가지 모드를 상황에 따라 적절히 섞어서 편집해야, 진짜 성우가 연기한 것 같은 자연스러운 맛이 살아납니다."

---

💸 3. 주의! 더빙 프로젝트의 '크레딧 함정'

이건 진짜 피가 되고 살이 되는 정보입니다. (내 아까운 크레딧... 😭)

⚠️ 남은 크레딧은 환불이 안 됩니다! 

 

더빙 스튜디오는 영상을 업로드할 때 예상 크레딧을 미리 배정합니다.
작업을 마치고 위 사진처럼 5,352 크레딧이 남아도, 이건 해당 프로젝트 안에서만 쓸 수 있습니다. 다른 영상 만들 때 못 씁니다.

 

✅ 연구소장의 조언:
처음부터 10분짜리 긴 영상을 통째로 넣지 마세요.
1분~2분 단위로 짧게 끊어서(Shorts용) 필요한 부분만 작업하는 게 크레딧 낭비를 막는 최고의 방법입니다.

🎓 더빙의 퀄리티를 2배 더 올리고 싶다면?

단순 더빙을 넘어, 캐릭터의 '숨소리'와 '감정'까지 완벽하게 복제하고 싶으신가요?
일레븐랩스의 3가지 클로닝 기술(Clip vs Track vs IVC)을 비교 분석했습니다.

🚀 더빙 심화 과정 보러가기

---

🚀 당신도 '방구석 더빙 감독'이 될 수 있습니다

유튜브 쇼츠, 틱톡, 릴스... 요즘은 '몰입감 있는 사운드'가 조회수를 지배합니다.
복잡한 장비 없이 일레븐랩스 하나로 나만의 더빙 콘텐츠를 만들어보세요.

 

👇 [공식] 일레븐랩스 50% 할인받고 더빙 시작하기

[일레븐랩스 연구소 유튜브 채널]에도 재미있는 더빙 예시가 계속 올라올 예정이니 구독 부탁드립니다!

 

📺 유튜브 채널 구독

 

 

다음에 더 다양한 기능들을 소개해드리러 돌아오겠습니다!

일레븐랩스 연구소였습니다! ⚡