음원 생성 모델 해부 — 텍스트에서 노래까지

지형도: 음원 생성 모델의 계보와 현재

기호에서 파형으로

2010년대 후반까지 "음악 생성"은 대부분 음표를 만드는 일이었다. 2018년 9월 공개된 Music Transformer는 상대 위치 어텐션의 메모리 사용량을 줄여 분 단위 길이의 피아노 MIDI를 생성했다. 기호 생성은 가볍고 편집하기 쉽지만 결과물에 음색, 보컬, 믹스가 없다. 소리를 내려면 별도의 악기와 가수가 필요하다.

파형 생성은 이 단계를 건너뛰고 오디오 자체를 만든다. 문제는 길이다. 44.1kHz 오디오 3분은 약 800만 샘플이므로 그대로는 시퀀스 모델에 넣을 수 없다. 그래서 이후의 계보는 "오디오를 얼마나 짧은 표현으로 압축하는가"와 "그 표현을 무엇으로 생성하는가(자기회귀 LM인가, 확산인가)"라는 두 질문에 대한 답이 바뀌어 온 과정으로 읽을 수 있다. 압축 표현 자체는 다음 섹션에서 다룬다.

연표: 각 모델이 처음 풀어낸 문제

읽는 법은 간단하다. 2020~2023년은 "긴 오디오를 모델링할 수 있는가"와 "텍스트로 조건을 줄 수 있는가"를 풀었고, 2024년은 "가사 있는 완곡을 일반 사용자가 쓸 품질로" 만드는 일을 상용 서비스가 먼저 해냈다. 2025년에는 오픈 가중치 모델이 같은 과제를 따라잡기 시작했고, 2026년의 변화는 음질보다 속도, 소비자 GPU 구동, 개인화(LoRA), 학습 데이터의 권리 문제에 몰려 있다.

2026년 10월 기준 "가사 있는 완곡" 모델군

상용 서비스

• Suno: 2025년 9월 v5, 2026년 3월 26일 v5.5(본인 목소리 등록, 자기 곡으로 만드는 커스텀 모델)를 거쳐 2026년 9월 9일 v6, v6-wild, v6-mini를 출시했다. v6와 v6-wild는 유료, v6-mini는 전체 사용자 대상이다. Warner Music Group, BMG, Believe의 라이선스 콘텐츠로 개발했다고 밝혔고, 이전 모델은 은퇴시킨다고 했다. Sony·UMG와의 소송은 진행 중이며, 계정 등급별 다운로드 한도가 새로 생겼다(수치는 상용 서비스 섹션).
• Udio: 2025년 10월 29일 UMG와 합의하고 라이선스 음악으로 학습한 새 플랫폼을 2026년에 내겠다고 발표했다. 전환 기간에는 결과물이 서비스 안에만 머무는 "walled garden" 방식으로 바뀌었다. 새 플랫폼의 실제 출시일과 현재 내보내기 조건은 1차 출처에서 확인하지 못했다.

두 서비스 모두 가중치를 공개하지 않으므로, 제품에 넣는다면 약관의 상업 이용·다운로드·재배포 조항이 모델 성능보다 먼저 확인할 항목이다.

오픈 가중치

고르는 기준

• 제품에 내장하고 재배포까지 해야 하면 MIT·Apache 2.0 모델(ACE-Step 1.5, YuE 1세대, HeartMuLa)에서 시작한다. "오픈"이라는 말만 보고 고르지 말고 가중치 라이선스를 직접 읽는다. YuE2처럼 코드와 가중치의 조건이 다르거나, DiffRhythm처럼 생성기(Apache 2.0)와 VAE 디코더(Stability AI Community License)의 조건이 다른 경우가 있다.
• 소비자 GPU나 Mac에서 돌려야 하면 확산 계열(ACE-Step, DiffRhythm)이 유리하다. 자기회귀 LM 계열은 길이에 비례해 생성 시간이 늘어난다.
• 가사 정확도와 곡 구조가 우선이면 LM이 계획을 세우는 하이브리드 구조(ACE-Step 1.5, LeVo 2, YuE2)를 먼저 시험한다.
• README의 속도·품질 수치는 제작자가 보고한 값이다. 자기 장비와 자기 장르에서 다시 재야 한다.

이 글의 나머지 구성

• 오디오 표현: 코덱 토큰과 연속 잠재, 프레임률이 길이와 음질을 정하는 방식
• 생성 구조: 자기회귀 LM, 확산·플로 매칭, 둘을 잇는 하이브리드
• 제어: 가사 정렬, 스타일 태그, BPM·조성, 참조 오디오, 편집
• 오픈·상용 모델: 위 표의 모델을 실제 구동 조건과 비용으로 비교
• LoRA 개인화: 필요한 데이터 양, 학습 절차, 흔한 실패
• 평가: 자동 지표와 청취 평가의 한계
• 권리: 학습 데이터 소송과 라이선스 계약, 결과물의 저작권, 표기 의무

오디오 표현: 코덱 토큰과 연속 잠재

파형을 그대로 다루기 어려운 이유

44.1kHz 스테레오는 1초에 88,200개 값이다. 4분짜리 곡이면 약 2,100만 개(단순 계산)여서, 트랜스포머가 한 번에 볼 수 있는 길이를 크게 넘는다. 그래서 거의 모든 음원 생성 모델은 ① 오디오를 짧은 시퀀스로 줄이는 압축기와 ② 그 시퀀스를 만드는 생성기로 나뉜다. 압축기의 출력이 이산 토큰이냐 연속 벡터냐에 따라 생성기 구조(자기회귀 LM 대 확산/플로우)가 사실상 정해진다. 생성기 쪽은 다음 섹션에서 다룬다.

실무에서 가장 먼저 볼 숫자는 프레임레이트(Hz) 다. 1초를 몇 개의 프레임으로 표현하는지이고, 곡 길이에 곱하면 생성기가 다뤄야 할 시퀀스 길이가 나온다.

신경 오디오 코덱과 RVQ 이산 토큰

• SoundStream (2021년 7월 arXiv): 합성곱 인코더·디코더와 잔차 벡터 양자화(RVQ) 를 함께 학습한다. 24kHz에서 3~18kbps를 한 모델로 처리하며, 양자화기 층을 무작위로 떨어뜨리는 학습(quantizer dropout)으로 가변 비트레이트를 얻는다.
• EnCodec (2022년 10월): 24kHz 모노(인과적)와 48kHz 스테레오(비인과적, 음악 전용 데이터) 두 모델. 지원 비트레이트는 24kHz가 1.5/3/6/12/24kbps, 48kHz가 3/6/12/24kbps. 코드는 MIT이고, 가중치 라이선스는 README에서 확인하지 못함.
• DAC(Descript Audio Codec, 2023년 6월): 44.1kHz를 8kbps로, 약 90배 압축. 스트라이드 512로 86Hz, 10비트 코드북 9개. 코드와 가중치 모두 MIT. README는 같은 기준으로 EnCodec을 32배, SoundStream을 64배로 적는다.

RVQ는 한 프레임을 코드북 하나로 표현하지 않는다. 첫 코드북이 큰 윤곽을 잡고, 다음 코드북이 남은 오차를 차례로 양자화한다. 그래서 프레임당 토큰 수 = 코드북 수가 된다. 실제 설정을 보면 부담이 드러난다.

MusicGen은 코드북 사이에 시간 오프셋을 주는 "delay" 패턴으로 30초를 1,500 자기회귀 스텝에 처리한다. 코드북 수를 줄이면 빨라지지만 뒤쪽 코드북이 맡던 세부 음향이 빠진다.

연속 잠재 VAE

확산·플로우 계열은 양자화하지 않은 연속 벡터를 쓴다. 양자화 오차가 없고, 프레임레이트를 더 낮출 수 있다.

Stable Audio Open의 오토인코더는 1억 5,600만 파라미터이고, Snake 활성화를 쓰며, 고조파 왜곡을 줄이려고 디코더 출력의 tanh를 뺐다. 21.5Hz라는 낮은 레이트 덕분에 Stable Audio 2 계열은 4분 45초(285초)를 약 6,100프레임(단순 계산)으로 한 번에 다룬다. DiffRhythm은 같은 길이의 곡을 약 10초에 만든다고 보고한다.

의미 토큰과 음향 토큰의 분리

음향 토큰만으로는 곡의 긴 구조를 배우기 어렵다. AudioLM(2022년 9월)이 정리한 해법은 둘을 나누는 것이다. 자기지도 모델의 활성값을 이산화한 의미 토큰이 장기 구조를, 코덱 토큰이 음질을 맡는다.

• MusicLM: w2v-BERT(6억 파라미터) 7번째 층을 k-means 1,024개로 묶어 25Hz 의미 토큰을 만들고, 그다음 SoundStream 음향 토큰을 거친(4단)·세밀(8단) 순서로 만든다.
• YuE (2025년): HuBERT 기반 의미 표현을 코덱 잠재에 섞은 X-Codec(16kHz, 50Hz) 사용. 저자들은 순수 음향 토큰(Encodec32k 등)으로는 0.5B LM이 수렴하지 않았다고 적는다.
• ACE-Step v1: 토큰을 분리하지 않고, 확산 모델의 중간 표현을 MERT(음악)와 mHuBERT(가사 발음)에 맞추는 정렬 손실(REPA)을 쓴다. MERT는 RVQ-VAE와 CQT를 교사로 쓴 음악 이해 모델(9,500만~3억 3,000만 파라미터)이다.
• ACE-Step 1.5: 25Hz 잠재를 FSQ로 5Hz 이산 코드(코드북 약 64k)로 줄여 LM이 곡 구조를 계획하는 데 쓴다.

표현이 음질·속도·고음에 미치는 영향

• 레이트를 낮추면 복원이 나빠진다. Stable Audio 2 논문의 음악 복원 비교에서 SI-SDR은 DAC(86Hz) 10.83, 이전 Stable Audio(43Hz) 8.62, 21.5Hz 모델 7.14다. Stable Audio Open 논문도 낮은 잠재 레이트가 대체로 복원을 나쁘게 한다고 적는다.
• 고음과 주기 신호가 먼저 무너진다. DAC 논문은 기존 코덱의 문제로 음조성 아티팩트, 피치·주기성 아티팩트, 고주파 재현 부족을 꼽고, Snake 활성화와 코드북 붕괴 방지로 대응했다.
• 샘플레이트가 대역 상한이다. 24kHz 코덱은 12kHz 위를 담지 못하고, 16kHz 토크나이저는 8kHz에서 끊긴다. 나머지는 별도 업샘플러가 채워야 한다.

디코더가 병목이 되는 경우

생성기를 아무리 키워도 디코더가 복원하지 못하는 소리는 나오지 않는다. 공개된 사례가 세 가지 있다.

• ACE-Step v1: 멜 기반 DCAE와 32kHz 모노 보코더가 음질을 제한한다고 저자가 직접 밝힌다. 복원 FAD는 0.0224로, DiffRhythm VAE의 0.0059보다 나쁘다. 1.5가 파형 기반 1D VAE로 바꾼 배경이다.
• YuE: 보컬과 반주의 음향 품질이 부족하다고 인정하고, 디코더 개선이 필요하다고 적는다. 16kHz 토큰을 Vocos 기반 보코더로 44.1kHz까지 올리는 구조다.
• 학습 데이터의 손실 압축: DiffRhythm은 입력에만 MP3 압축을 걸고 정답은 무손실로 두는 방식으로 VAE를 학습해, 압축 음원에서도 복원이 버티게 했다.

고를 때 확인할 것

1. 목표 길이 × 프레임레이트 × 프레임당 토큰 수를 먼저 계산한다. 곡 전체를 한 번에 만들려면 20~25Hz 연속 잠재가 현실적이다.
2. 생성기를 평가하기 전에 오토인코더만으로 원본을 인코딩·디코딩해 들어 본다. 여기서 들리는 열화는 LoRA나 프롬프트로 고칠 수 없다. 심벌·치찰음·현악기 지속음이 좋은 시험 소재다.
3. 오토인코더의 샘플레이트·채널 수·학습 데이터 종류(음악 전용인지)를 확인한다.
4. 잠재 공간이 호환되면 디코더만 교체할 수 있다(DiffRhythm VAE ↔ Stable Audio VAE). 호환되지 않으면 생성기를 다시 학습해야 한다.
5. 라이선스는 압축기와 생성기를 따로 본다. DAC는 MIT, Stable Audio Open 1.0은 Stability AI Community License다. DiffRhythm도 생성기는 Apache 2.0이지만 VAE 가중치는 Stability AI Community License다.

생성 구조: 자기회귀, 확산, flow matching, 하이브리드

모델을 고를 때 구조부터 보는 이유는 속도, 가사 정렬, 곡 길이, 조절 가능한 손잡이가 구조에서 거의 결정되기 때문이다. 오디오 표현(코덱·VAE) 자체는 앞 섹션에서 다루고, 여기서는 그 표현 위에서 "어떻게 생성하는가"만 본다.

한눈에 보기

토큰 언어모델 방식

MusicGen(Meta, 2023년 6월 논문)은 32kHz EnCodec이 만든 50Hz·코드북 4개 토큰을 단일 트랜스포머 하나로 예측한다. 핵심은 delay pattern이다. 코드북 4개를 한 줄로 펴면(flattening) 30초에 6,000스텝이 필요하지만, 코드북마다 한 칸씩 늦춰 병렬로 예측하면 1,500스텝으로 줄어든다. 논문의 비교표에서 flattening이 점수는 가장 좋았으나 주관 평가 차이는 작았고, 그래서 delay가 기본값이 됐다. 추론 기본값은 CFG 3.0, top-k 250이며 학습 구간은 30초다. 크기는 300M·1.5B·3.3B 세 가지.

YuE v1(2025년 3월 논문)은 LM을 두 단계로 나눈다. Stage 1(7B)은 의미 정보가 많은 코드북 0번만, 그것도 보컬과 반주를 프레임마다 번갈아 놓아 예측하고(초당 약 100토큰), Stage 2(1B)가 나머지 코드북 1~7을 채운다. 가사와 구간 표지를 구간별로 끼워 넣는 방식으로 최대 5분까지 가사 정렬을 유지한다. CFG는 첫 구간 1.5, 이후 1.2.

대가도 분명하다. 공식 README 기준 30초 생성에 H800에서 150초, RTX 4090에서 약 360초가 걸리고, 4구간 이상 전곡은 80GB급 메모리를 권한다. 논문 스스로 보컬·반주 음질 부족을 토큰화 방식의 한계로 적었다.

잠재 확산·DiT와 flow matching

확산 계열은 곡 전체 길이의 잠재 시퀀스를 잡음에서 출발해 여러 번 다듬는다. 스텝 수가 곡 길이와 무관하므로 길수록 LM보다 유리하다.

• Stable Audio Open(2024년 7월): 44.1kHz 스테레오, 최대 47초, 21.5Hz 잠재, DiT 약 1.06B. v-objective 확산이며 권장 설정은 DPM-Solver++ 100스텝, CFG 7.0.
• Stable Audio 2 계열 논문(2024년 4월): 같은 21.5Hz 잠재에서 학습 길이를 늘려 4분 45초를 한 번에 생성.
• DiffRhythm(2025년 3월): 가사와 스타일 프롬프트만 받아 4분 45초 전곡을 약 10초에 만든다. 조건부 flow matching으로 학습하고 Euler 솔버 32스텝, CFG 4. 가사는 문장 시작 시각만으로 잠재 프레임 위치에 배치한다.

flow matching / rectified flow는 잡음에서 데이터로 가는 경로를 직선에 가깝게 잡고 그 속도장을 학습하는 방식이다. 경로가 곧을수록 적은 스텝의 단순한 ODE 솔버로도 결과가 무너지지 않아서, 2025년 이후 모델(DiffRhythm, ACE-Step 1.5, YuE2의 음향 단계)은 대부분 이쪽을 쓴다.

하이브리드: LM이 계획하고 DiT가 소리를 만든다

ACE-Step 1.5(2026년 1월 논문, MIT 라이선스)가 대표 사례다.

• 5Hz LM(Qwen 계열, 0.6B·1.7B·4B): 사용자 요청을 풀어 BPM·조·길이 같은 메타정보와 캡션, 가사를 정하고, FSQ로 양자화한 5Hz 의미 코드를 낸다. 이 코드에는 선율·편곡과 음색 일부가 담긴다.
• DiT(약 2B, XL은 4B): LM의 코드와 조건을 받아 48kHz 스테레오의 25Hz 잠재를 flow matching으로 생성한다. 최종 음색·믹스는 DiT가 정한다.
• LM은 선택 사항이다. 계획을 직접 줄 수 있으면 끄고 DiT만 돌릴 수 있어, 공식 문서는 VRAM 8GB 미만에서 LM 없이 또는 0.6B를 권한다.

같은 방향의 다른 예로, YuE2(2026년 9월 기술 보고서, 3B)는 ABC 표기 악보(선율·코드)를 먼저 쓰고, 의미 토큰을 자기회귀로, 음향 잠재를 flow matching으로 만든다. 악보를 사람이 고칠 수 있다는 점이 차이다. 가중치는 CC BY-NC 4.0이라 상업 이용 전 확인이 필요하다. DiffRhythm 2(2025년 10월)는 블록 단위로 이어 가는 반(半)자기회귀 flow matching과 5Hz VAE를 쓴다.

스텝 수, CFG, 증류

기본형 확산·flow 모델은 30~100스텝에 CFG를 쓰므로 스텝마다 조건부·무조건부 두 번을 계산한다. 가속 기법은 이 둘을 함께 없앤다.

실무 판단 기준은 이렇다.

• 대량 생성·시안: turbo(8스텝). README 기준 전곡이 A100에서 2초 미만, RTX 3090에서 10초 미만.
• 프롬프트 준수를 조절해야 할 때: CFG가 되는 sft·base(50스텝 기본, 32~100 범위). turbo에서 지시가 잘 안 먹으면 프롬프트를 고치기 전에 모델 변형부터 바꿔 본다.
• LoRA 학습·트랙 분리·추가: base. 공식 문서가 미세조정 여지가 가장 크다고 밝힌 변형이다.
• turbo에서 남는 손잡이는 shift다. 높이면 구조·의미가, 낮추면 질감이 강해진다.

일반적으로 스텝을 줄인 모델은 같은 프롬프트에 대한 결과의 다양성이 줄 수 있다. ARC 논문이 증류 대신 적대적 학습을 택한 이유로 내세운 지점인데, 모델별 정량 비교는 이 섹션에서 직접 확인하지 못했다.

긴 곡을 한 번에 만드는 방법

세 가지 길이 있고, 섞어 쓴다.

1. 잠재 프레임률을 낮춘다. 21.5Hz(Stable Audio 2, DiffRhythm) → 약 10.76Hz(Stable Audio 3) → 5Hz(DiffRhythm 2). 프레임률이 절반이면 같은 시퀀스 길이로 두 배 긴 곡이 들어간다.
2. 전곡 길이로 학습한다. DiffRhythm full은 최대 6,144프레임(약 4분 45초), Stable Audio 3 medium·large는 6분 20초(small은 2분)까지 가변 길이로 생성한다.
3. 계획을 먼저 세운다. ACE-Step 1.5는 LM이 구조를 정해 10초~10분(600초)을 지원하고, YuE v1은 구간 표지를 따라 최대 5분, DiffRhythm 2는 블록을 이어 최대 210초다.

30초 학습 모델을 창을 밀어 가며 이어 붙이는 방식은 후렴 반복 같은 곡 단위 구조를 보장하지 못한다. 수 분짜리 노래가 목적이면 위 세 가지 중 하나 이상을 갖춘 모델에서 출발하는 편이 낫다.

조건화와 제어: 가사, 구조, 참조, 편집

모델에 "무엇을 만들지" 알려 주는 통로는 하나가 아니다. 통로마다 맡는 일이 다르고, 서로 모순되면 모델은 조정하지 못한다. 이 절은 공개 문서가 가장 자세한 ACE-Step 1.5를 중심으로 정리한다(2026년 10월 열람 기준).

텍스트 프롬프트와 텍스트 인코더

• ACE-Step 1.5: 캡션은 Qwen3-0.6B 임베딩으로 들어가고, 가사 인코더·음색 인코더 출력과 이어 붙여 교차 어텐션으로 주입된다(논문, 2026년 1월 제출). 앞단의 언어 모델(0.6B/1.7B/4B)은 "계획자"로, 짧은 요청을 캡션·메타데이터·의미 코드로 풀어 준다.
• Stable Audio Open 1.0: 텍스트 인코더는 t5-base이고, 시작 시각과 전체 길이(seconds_start, seconds_total)를 따로 조건으로 받는다. 최대 47초, 44.1kHz 스테레오.
• MusicGen: 텍스트 설명과 멜로디 특징을 조건으로 받는 자기회귀 모델이다(2023년 6월 제출).

MusicGen과 Stable Audio Open의 모델 카드는 둘 다 "사실적인 보컬을 만들지 못한다", "영어 설명으로 학습돼 다른 언어에서는 성능이 떨어진다"고 적는다. 가사 있는 노래에는 쓸 수 없고, 프롬프트는 영어로 쓰는 편이 안전하다.

ACE-Step 튜토리얼의 역할 분담은 다음과 같다.

가사 정렬과 구조 태그, 다국어

• ACE-Step 1.5 태그: [Intro] [Verse] [Pre-Chorus] [Chorus] [Bridge] [Outro], 전개용 [Build] [Drop] [Breakdown], 연주용 [Instrumental] [Guitar Solo] [Piano Interlude]. [Chorus - anthemic]처럼 수식어를 하나 붙일 수 있지만 여러 개를 쌓지 말라고 한다.
• YuE(논문 2025년 3월)는 긴 곡에서 가사가 어긋나는 문제를 구간별로 조건을 이어 주는 "structural progressive conditioning"으로 다루며, 최대 5분 길이를 내세운다. 같은 레포 README는 2026년 10월 열람 시 YuE2를 안내하고 있었고, ABC 표기 악보로 멜로디·화성을 먼저 계획하는 방식으로 소개한다. YuE2의 구조 태그 규칙과 지원 언어 목록은 확인하지 못했다.
• DiffRhythm(2025년 3월)은 가사와 스타일 프롬프트만으로 최대 4분 45초를 비자기회귀로 만든다. 정렬 방식의 세부는 초록만으로는 확인하지 못했다.
• 다국어: ACE-Step 1.5는 50개 이상 언어를 내세운다. 논문에 따르면 비로마자 가사(예: 중국어, 일본어, 태국어)의 50%를 학습 중 로마자 발음 표기로 바꿔 언어 간 음운 표현을 공유시켰다. 다만 언어별 정확도 수치는 공식 문서에 없고, 논문 결론도 언어 지원 확대와 정밀한 가사 정렬을 향후 과제로 적는다. 한국어 가사는 vocal_language(ISO 639-1 코드)를 명시하고 직접 들어 확인하는 수밖에 없다.
• Tencent SongGeneration(LeVo)의 태그 규칙은 공식 README를 열지 못해 확인하지 못했다.

멜로디·참조 오디오 조건

• MusicGen-melody(1.5B): 참조 음원의 크로마그램을 조건으로 써서 선율 윤곽을 따라가게 한다. 가중치는 CC-BY-NC 4.0.
• ACE-Step 1.5 cover: 소스 오디오를 5Hz 양자화 코드로 바꿔 멜로디 뼈대를 유지하고 음색을 다시 합성한다. audio_cover_strength(0.0~1.0, 기본 1.0)가 높을수록 원곡에 가깝다. cover·repaint·extract에서는 계획자 LM이 자동으로 건너뛰어진다.
• reference_audio(스타일·음색 참조)와 src_audio(변환할 원본)는 서로 다른 입력이다.

참조 오디오와 cover는 권리가 있는 음원에만 쓰는 것이 전제다(권리 절 참고).

부분 재생성, 이어쓰기, 스템 단위 생성

ACE-Step 1.5는 소스 잠재, 노이즈가 섞인 타깃, 마스크를 한 텐서로 넣는 마스크 생성 구조 하나로 여섯 작업을 처리한다.

• repaint는 repainting_start/repainting_end(초, -1은 끝까지)로 구간을 잡고, 튜토리얼이 밝힌 동작 범위는 3~90초다.
• 트랙 이름은 vocals backing_vocals drums bass guitar keyboard percussion strings synth fx brass woodwinds 12종이다.
• 상용 쪽에서 Suno는 Replace Section을 Pro·Premier 구독자에게 제공한다. 구간을 끌어 고르고 가사를 고치면 두 버전이 나오고, 고른 쪽으로 전체 곡이 새로 만들어진다. 구간 길이 제한은 해당 문서에서 확인하지 못했다.

BPM·조성·박자

ACE-Step 1.5 기준으로, 비워 두면 LM이 추정한다.

• BPM: 30~300 입력 가능, 안정 범위는 60~180.
• 조성: C Major, Am 같은 문자열. 흔한 조(C, G, D, Am, Em)가 가장 안정적이다.
• 박자: 2(2/4), 3(3/4), 4(4/4), 6(6/8). 4/4가 가장 안정적이고 3/4·6/8은 대체로 동작하며, 5/4·7/8은 고급 영역으로 분류된다.

CFG가 지시 준수와 음질에 주는 영향

classifier-free guidance는 조건부와 무조건부 추정을 섞어 품질과 다양성 사이를 조절하는 기법이다(Ho & Salimans, 2022년 7월). 강도를 올리면 프롬프트를 더 따르지만 결과가 좁아진다.

• ACE-Step 1.5 base/sft: guidance_scale 기본 7.0, 범위 1.0~15.0, 50단계. 문서는 높을수록 준수도가 오르지만 과적합할 수 있다고 적는다. cfg_interval_start/end로 적용 구간을 줄일 수 있다.
• turbo: 50단계를 8단계(shift 3)로 증류하면서 CFG를 뺐고, guidance_scale은 1.0으로 자동 보정된다. 프롬프트를 더 세게 밀 손잡이가 없다.
• LM 쪽에도 lm_cfg_scale(기본 2.0)과 lm_negative_prompt가 따로 있다.

가이드 문서는 평소에는 turbo, 최종본은 sft/base를 권한다. 지시가 반영되지 않는다면 turbo에서 프롬프트를 고치기보다 base로 옮겨 CFG를 조정하는 쪽이 문서 구조와 맞는다.

제어가 잘 안 되는 대표 사례와 대처

제어 실패의 상당수는 프롬프트 문구가 아니라 통로 선택에서 생긴다. 스타일은 캡션, 시간 전개는 가사 칸, 숫자는 메타 파라미터에 넣고, 지시 준수가 중요하면 CFG가 켜진 변형을 고른다.

오픈 가중치 모델 비교와 로컬 실행

"오픈"이라는 말은 모델마다 뜻이 다르다. 코드는 MIT·Apache인데 가중치는 비상업(CC BY-NC)인 경우가 흔하고, 학습 데이터를 밝힌 곳과 밝히지 않은 곳이 갈린다. 아래 표는 2026년 10월 6일에 각 프로젝트의 공식 README·모델 카드·논문에서 확인한 내용만 적었다. 확인하지 못한 칸은 그대로 "확인하지 못함"으로 둔다.

한눈에 보는 비교

Tencent의 SongGeneration(LeVo, LeVo 2 논문은 2026년 6월 29일 제출)은 공식 저장소와 모델 카드를 열어 보지 못해 표에서 뺐다. 라이선스와 VRAM은 직접 확인해야 한다.

ACE-Step 1.5 변종 고르기

같은 2B·4B 안에서도 세 변종의 쓰임이 다르다.

• turbo: 8스텝, CFG 없음. 가장 빠르다. CFG가 없으므로 프롬프트 반영 강도를 조절할 수단이 줄어든다.
• sft: 50스텝, CFG 사용. 품질 우선.
• base: 50스텝, CFG 사용. 공식 표에서 extract·lego·complete 같은 편집 작업을 지원하는 유일한 변종이다. 스템 추출이나 부분 채우기가 필요하면 base를 써야 한다.

LoRA는 Gradio에서 주석과 학습을 한 번에 돌리는 흐름을 제공하고, 공식 예시는 "8곡, RTX 3090(12GB)에서 1시간"이다. 세부는 LoRA 섹션에서 다룬다.

학습 데이터 출처: 공식 문서가 밝힌 것

• ACE-Step 1.5: 모델 카드에 세 범주만 적혀 있다. 라이선스를 받은 음원, 로열티 프리·퍼블릭 도메인 음원, MIDI를 오디오로 바꾼 합성 데이터. 곡 수나 공급처 이름은 없다.
• MusicGen: Meta Music Initiative Sound Collection, Shutterstock, Pond5 음악 컬렉션 합계 2만 시간. 태그와 HT-Demucs로 보컬을 걸러냈다.
• Stable Audio Open: 486,492개 녹음(Freesound 472,618개, Free Music Archive 13,874개), 모두 CC0·CC BY·CC Sampling+. Audible Magic으로 저작권 의심 음원을 걸렀다고 밝힌다. 표에 있는 모델 중 가장 구체적이다.
• YuE v1·YuE2, DiffRhythm, HeartMuLa, MiniMax-Music3: README와 모델 카드에서 데이터 구성을 확인하지 못함. YuE2 초록은 "정렬된 악보가 없는 녹음"을 썼다고만 한다.

라이선스가 MIT·Apache라는 사실과 학습 데이터의 권리 관계는 별개다. 제품에 넣을 때는 두 가지를 따로 기록해 두는 편이 안전하다(권리 섹션 참고).

Apple Silicon과 소비자 GPU의 현실

• Apple Silicon: ACE-Step 1.5는 macOS 전용 실행 스크립트(start_gradio_ui_macos.sh, start_api_server_macos.sh)와 MLX 백엔드, 포터블 패키지를 제공한다. DiffRhythm은 2025년 3월 11일부터 macOS 실행을 지원한다고 적었다. 반면 MiniMax-Music3는 "추론에 CUDA 필요"라고 명시하고, YuE2는 Linux+NVIDIA만 적는다. HeartMuLa와 MusicGen 공식 문서에는 Mac 언급이 없다. Mac에서의 속도는 어느 프로젝트도 공식 수치를 내지 않았으므로, ACE-Step이 제공하는 프로파일링 도구로 자기 기기에서 재야 한다.
• 8~12GB GPU: ACE-Step 2B turbo(+0.6B 또는 1.7B LM), DiffRhythm(청크 디코딩)이 현실적이다. ACE-Step 문서는 4GB 이하 등급에서 최대 길이를 LM 사용 시 4분, 미사용 시 6분으로 제한한다.
• 16GB: MusicGen medium, ACE-Step XL(오프로드 사용).
• 24GB: ACE-Step XL+4B LM 전체 구성, YuE2, MiniMax-Music3. YuE v1은 24GB에서 전곡을 못 만들고, 4090에서 30초에 약 6분이 걸려 반복 작업에는 맞지 않는다.

용도별 선택 기준

• 가사 있는 노래, 상업 제품: ACE-Step 1.5(MIT, 학습 데이터 범주 공개, 한국어 포함 다국어)가 첫 후보다. 품질이 모자라면 XL sft, 대량 생산이면 turbo. Apache 2.0 대안은 HeartMuLa(실시간과 비슷한 속도를 감수할 때)다. DiffRhythm(가사 타임스탬프를 직접 줄 수 있음)은 VAE 디코더의 Stability AI Community License 조건을 먼저 확인한다.
• 가사 있는 노래, 연구·개인 창작: YuE2는 악보를 먼저 쓰는 구조라 멜로디·화성 통제를 실험하기 좋지만 가중치가 비상업이다. MiniMax-Music3는 매출 조건과 UI 표기 의무를 받아들일 수 있을 때 고려한다.
• 배경음악(보컬 없음): ACE-Step 1.5를 연주곡으로 쓰는 것이 길이·라이선스 면에서 유리하다. MusicGen은 멜로디 조건부 변종이 있지만 가중치가 CC BY-NC라 내부 시안용에 그친다.
• 짧은 루프·효과음: Stable Audio Open 1.0(47초)과 Small(11초). 모델 카드 스스로 음악보다 효과음·현장음에 강하다고 적는다. 상업 이용 조건은 Stability 라이선스 페이지에서 확인한다.

상용 서비스와 산업 구도

2025년 말부터 상용 서비스의 조건을 정하는 것은 모델 성능보다 음반사와의 계약이다. 아래는 2026년 10월 6일 기준으로 공식 페이지와 주요 업계 매체에서 확인한 내용이다.

서비스별 현황

Suno. 2026-09-09에 라이선스 받은 음악(Warner Music Group, BMG, Believe)으로 다시 학습했다는 v6 계열을 냈다. v6와 v6-wild는 유료 구독자용이고 v6-mini는 전체 사용자용이다. 이전 버전(v5, v5.5)은 은퇴시킬 계획이라고 밝혔고 날짜는 내놓지 않았다. 아래 기능 설명은 v5.5 발표 기준이며, v6에서 그대로 유지되는지는 확인하지 못했다. v5.5는 본인 목소리를 등록하는 Voices, 자기 곡으로 v5.5를 미세조정하는 Custom Models(사용자당 3개), 취향 학습 My Taste를 추가했다. 앞의 둘은 Pro·Premier 전용이다. 무료 플랜은 하루 50크레딧에 상업 이용권이 없고, Pro는 월 2,500크레딧, Premier는 월 10,000크레딧과 Studio 접근을 준다.

ElevenLabs. 자사 설명으로는 라이선스를 받은 음원으로만 학습했다. 셀프서브 유료 플랜(Starter 이상)에서 상업 이용이 가능하지만, 영화·TV·대형 게임 용도는 Enterprise 계약이 필요하다. 최대 길이는 문서와 가격 페이지가 5분, API 소개 페이지가 10분으로 서로 다르니 호출 전에 문서를 기준으로 확인한다.

Google. Lyria 3(2026-02-18, 30초)에서 Lyria 3 Pro(2026-03-25, 최대 3분)를 거쳐 Lyria 3.5로 이어졌다. 가격 페이지는 3.5 외의 Lyria 3 계열을 legacy로 분류한다. 3.5의 정확한 출시일은 1차 출처에서 확인하지 못했다. 모든 출력에 SynthID 워터마크가 들어가고, 특정 가수의 목소리나 저작권 있는 가사를 요구하는 프롬프트는 필터가 막는다. YouTube 쪽은 미국 한정이던 Dream Track이 2026년 2월 전 세계 크리에이터로 확대됐다. Vertex AI에서는 Lyria 3 Pro가 공개 프리뷰로 제공됐다.

Stability AI. Small SFX·Small·Medium은 가중치를 Hugging Face에 공개했고 Large만 API 전용이다. 출력물은 사용자 소유이며, Enterprise License에는 법적 면책이 포함된다. UMG(2025-10-30), Warner(2025-11-19)와 제휴했고, 2026-08-25 시리즈 B로 누적 투자금 $232M을 발표했다.

소송과 합의의 경과

• 2024년 6월: 메이저 3사가 Suno와 Udio를 저작권 침해로 제소.
• 2025-10-29: UMG와 Udio 합의. 2026년 출시할 구독형 라이선스 플랫폼을 예고했고, 전환 기간 동안 기존 서비스의 생성물은 폐쇄 환경(walled garden) 안에서 통제되며 핑거프린팅과 필터링이 적용된다고 밝혔다.
• 2025-11-19: Warner와 Udio 합의. 참여를 선택한 아티스트·작곡가의 목소리와 곡만 리믹스·커버에 쓰이는 옵트인 구조다.
• 2025-11-25: Warner와 Suno 합의. 2026년에 라이선스 모델을 내고 기존 모델은 폐기하며, 다운로드에 제한을 둔다는 조건이 붙었다. Suno는 Warner의 Songkick도 인수했다.
• 2026년 4월: UMG·Sony와 Suno의 합의 협상이 교착 상태라고 보도됐다. 쟁점은 생성곡을 서비스 밖으로 내보낼 수 있느냐다.
• 2026년 5~6월: UMG·Sony가 Suno 소송의 대상 음원을 560개에서 61,026개로 늘려 달라고 신청.
• 2026-07-20: Sony가 Udio를 상대로 3만 건이 넘는 음원에 대한 두 번째 소송을 제기. 6월에 판사가 기존 소송에 추가하는 것을 불허한 데 따른 것이다. 이 시점에 Udio는 UMG·Warner·Merlin과 함께 신규 라이선스 서비스 출시를 준비 중이라고 보도됐다. 이후 출시 여부는 확인하지 못했다.
• 2026-07-31: 뮌헨 법원이 GEMA 사건에서 Suno의 침해를 인정(미확정).
• 2026-08-12: Suno와 BMG 라이선스 계약.

합의 뒤 바뀐 Suno 조건

2026-09-03부터 다운로드 상한이 적용됐다.

• Free: 평생 7회 체험 다운로드, 상업 이용권 없음
• Pro: 월 20회
• Premier: 월 60회. Studio의 멀티트랙 내보내기는 상한 밖
• 곡을 발매·판매·라이선스하려면 다운로드가 필요하며, 추가 다운로드는 별도 구매

Suno는 2026-08-10에 새 모델이 나오면 현행 모델을 모두 종료한다고 공지했고, 그 새 모델이 2026-09-09의 v6 계열이다. Audible Magic, Musixmatch와 함께 워터마크·핑거프린팅과 프롬프트·출력 검사도 도입하고 있다.

오픈 모델과의 품질 격차

공개된 비교는 대부분 논문 저자가 수행한 소규모 평가다. Shao 논문(arXiv 2605.01790)은 8개 시스템을 766표의 블라인드 쌍대 비교로 평가했다.

오픈 모델 상위권은 일부 상용 모델과 비슷한 구간에 들어왔지만 Suno v5와는 종합 점수로 0.5점 넘게 차이가 난다. 표본이 프롬프트 10개 규모이고 저자 평가라는 점은 감안해야 한다. 제3자 상시 평가로는 사용자가 직접 프롬프트를 넣고 두 모델을 비교하는 Music Arena(music-arena.org)가 있다. Suno v6나 Lyria 3.5를 포함한 최신 공개 순위는 확인하지 못했다.

선택 기준

• 제품에 API로 넣는다: ElevenLabs(분 단위 과금, 섹션 편집), Lyria 3.5(곡 단위 과금, 편집 불가), Stable Audio 3.0 Large 중에서 고른다. Suno 비공식 래퍼는 약관과 소송 위험을 그대로 떠안는다.
• 자체 호스팅과 개인화가 필요하다: 상용 계열에서 가중치와 LoRA 문서가 공개된 것은 Stable Audio 3.0 Small·Medium이다.
• 완성곡을 외부에 발매한다: Suno 유료 플랜이 가능하지만 다운로드 상한과 모델 교체 일정을 운영 계획에 넣는다. Sony·UMG 소송이 끝나지 않았으므로 조건이 다시 바뀔 수 있다.
• 영상·게임 납품물에 쓴다: 셀프서브 플랜의 상업 이용 범위가 용도를 포함하는지 약관에서 먼저 확인한다.

개인화: LoRA·LoKr 미세조정

이 섹션은 공개 문서가 가장 잘 갖춰진 ACE-Step 1.5(논문 2026년 1월 31일 arXiv 제출, 코드 MIT 라이선스)를 기준으로 쓴다. 다른 오픈 모델의 어댑터 학습 절차는 이번 조사에서 1차 출처로 확인하지 못했다.

어댑터가 하는 일

• LoRA(2021년 6월 논문): 원래 가중치는 얼리고, 각 층에 작은 저랭크 행렬 두 개만 학습한다. ACE-Step 1.5에서는 PEFT 라이브러리로 DiT 디코더에 붙는다.
• LoKr: 저랭크 곱 대신 크로네커 곱으로 분해한다. LyCORIS 라이브러리로 구현된다.
• DoRA(2024년 2월 논문): 가중치를 크기와 방향으로 나누고 방향 쪽에만 LoRA를 쓴다. 공식 LoKr 탭의 lokr_weight_decompose 옵션이 이 방식을 켠다.
• Side-Step은 LoRA, LoKr, DoRA, LoHA, OFT 다섯 가지를 고를 수 있다(v1.1.2-beta, 2026년 10월 확인).

논문과 README는 "몇 곡만으로 자기 스타일을 담는 LoRA"를 내세우며, README는 8곡, RTX 3090에서 1시간(VRAM 12GB) 이라는 예를 든다.

공식 튜토리얼이 권하는 설정

• 공식 문서 안에서도 gradient accumulation 값이 다르다. LoRA 튜토리얼은 4, Gradio 가이드의 기본값 표는 1이다. 자기 설치본의 화면 값을 확인하고 쓴다.
• 두 문서의 epoch 기준은 서로 맞지 않는다(100곡에 500 대 50~100). 학습 방식(타임스텝 샘플링)이 달라서 그대로 비교할 수 없으니, 쓰는 도구의 기준을 따른다.
• LoKr 탭 기본값은 lokr_linear_dim 64, lokr_linear_alpha 128, lokr_factor -1(자동), epoch 500이다. 튜토리얼은 LoRA로 한 시간 걸리던 학습이 5분 안팎으로 끝날 수 있다고 적는다.

데이터 준비와 전처리

1. 파일: 오디오(.mp3 .wav .flac .ogg .opus), 같은 이름의 .lyrics.txt, 그리고 caption·bpm·keyscale·timesignature·language를 담은 주석(JSON 또는 CSV). 모두 선택 항목이다.
2. 자동 라벨링: Gradio의 Auto Label이 acestep-5Hz-lm(0.6B/1.7B/4B)으로 캡션을 만든다. BPM과 조는 별도 도구(Key-BPM-Finder)를 안내한다. Side-Step은 로컬 Qwen2.5-Omni, Gemini, OpenAI, Music Flamingo 등을 캡션 생성기로 고를 수 있다.
3. 옵션: 튜토리얼은 Genre Ratio를 0으로 두라고 한다(LM이 만든 장르 문구가 캡션보다 빈약하다는 이유). Custom Trigger Tag는 "현재 효과가 제한적"이라고 적혀 있어, 트리거 단어 하나로 음색을 켜고 끄는 방식은 기대하기 어렵다.
4. 텐서 전처리: 학습 전에 오디오를 VAE 잠재값으로, 텍스트를 임베딩으로 바꾸고 조건 인코더를 돌려 .pt로 저장한다. 학습 중에는 이 파일만 읽는다.
5. Side-Step은 파일 5개 이상, 길이 30~240초를 권하고 그보다 적으면 과적합 위험을 경고한다.

어디에 학습하고 어디서 추론하나

• README의 모델 표는 base·sft(XL 포함)를 "미세조정 쉬움", turbo를 "보통" 으로 표시한다. 공식 LoRA 튜토리얼 자체는 어느 변종에 학습하라고 명시하지 않고, training_shift: 3.0을 "turbo 모델용 타임스텝 shift"라고만 설명한다.
• Side-Step 문서의 설명은 더 구체적이다. shift는 추론 전용 값이고 학습 루프에는 영향을 주지 않는다. 세 변종 모두 학습 때는 연속 로짓 정규 분포(timestep_mu -0.4, timestep_sigma 1.0 정도)에서 타임스텝을 뽑는다. 원래 트레이너는 shift 3.0에서 나온 8개 이산 타임스텝을 고정해 쓰는데, 이 방식은 turbo에만 맞고 base·sft에는 맞지 않는다고 지적한다. 그래서 Side-Step은 연속 샘플링과 CFG 드롭아웃 15%를 기본으로 하고, base를 기본 학습 대상으로 권한다.
• 추론은 어댑터를 학습한 변종의 설정을 따른다.

• shift가 틀리면 어댑터가 제대로 학습됐어도 음질이 떨어진다고 문서가 경고한다. base에서 학습한 한 공개 어댑터의 모델 카드도 turbo에서 쓰면 스케일을 크게 다시 맞춰야 한다고 적는다.
• INT8 양자화가 켜져 있으면 LoRA를 불러올 수 없다(PEFT와 TorchAO 호환 문제). 공식 Gradio UI는 PEFT LoRA만 불러오며, LoKr·LoHA는 API나 별도 추론 코드가 필요하다.

공개 사례와 한계

• 장르: 나이지리아 음악 LoRA(base, rank 128/alpha 256, 420여 곡 약 31.5시간, Side-Step + Prodigy)는 shift 1.0, 스케일 0.7~1.0을 권한다. 팝·일렉트로 LoHA(xl-base, dim 128/alpha 256, 약 1,300곡, 100 epoch, 학습률 5e-5)도 공개돼 있다.
• 악기 음색: 직접 녹음한 wav 6개(84MB)로 500 epoch, 45분 학습한 어쿠스틱 기타 LoRA가 있다. 제작자는 스케일 0.2~0.7을 권하면서, 기타 소리는 조금 나아지지만 곡 전체가 어둡고 차분해질 수 있다고 적는다. 음색만 바뀌지 않고 곡 분위기까지 끌려간다는 뜻이다.
• 목소리: 공식 문서는 목소리 복제 기능을 안내하지 않으며, 목소리 어댑터가 화자를 얼마나 유지하는지 잰 공개 수치는 확인하지 못했다.

과적합·학습 부족과 체크포인트 선택

공식 튜토리얼에는 체크포인트 선택 기준이 없다. Side-Step 문서의 기준은 손실 곡선 하나다. 손실이 튀는 것은 정상이지만 계속 오르면 과적합이다. 실무에서는 아래처럼 귀로 고른다(문서 수치가 아니라 위 사례에서 끌어낸 절차다).

• 저장 간격을 촘촘히 잡아 체크포인트를 여러 개 남긴다. epoch 수가 적으면 간격도 줄이라는 것이 튜토리얼의 안내다.
• 같은 시드, 같은 프롬프트로 각 체크포인트를 스케일 두세 단계에서 뽑아 비교한다.
• 과적합 징후: 프롬프트를 바꿔도 학습곡의 멜로디·편곡이 되풀이된다, 가사나 장르 지시를 따르지 않는다, 스케일을 낮춰야만 들을 만하다.
• 학습 부족 징후: 스케일 1.0에서도 어댑터를 끈 결과와 차이가 거의 없다.

여러 어댑터 결합

공식 Gradio UI는 어댑터를 한 번에 하나만 불러온다. 새로 불러오면 이전 것이 교체되며, 공식 토론 글도 여러 스타일을 동시에 섞을 수 없다고 적는다. 공개된 우회 방법은 두 가지다. 하나는 스크립트로 LoRA 두 개를 하나로 병합하는 것(위 기타 사례는 세 개를 차례로 병합했다), 다른 하나는 LoRA 로더 노드를 이어 붙이는 서드파티 ComfyUI 노드다. 병합한 어댑터의 품질을 잰 공개 자료는 확인하지 못했다.

학습 자료의 권리

공식 튜토리얼은 자신의 창작물로 학습하라고 요청하고, README는 오용 책임을 지지 않는다고 밝힌다. 상세는 권리 섹션에서 다룬다. Side-Step 자체는 CC BY-NC-SA 4.0이라 상업적으로 쓰려면 서면 허락이 필요하다.

평가: 무엇을 재고 무엇을 들어야 하나

음원 생성 모델의 평가는 세 가지 질문으로 나뉜다. 소리가 실제 음악의 분포에 가까운가, 시킨 대로 만들었는가, 사람이 듣기에 좋은가. 지표마다 답하는 질문이 다르므로, 숫자 하나로 모델을 줄 세우면 틀린 결론이 나온다.

객관 지표: 재는 것과 못 재는 것

FAD는 설정을 같이 적지 않으면 의미가 없다. Gui 등의 ICASSP 2024 논문(2023년 11월 arXiv 공개)은 FAD가 표본 수 편향, 부적절한 임베딩, 치우치거나 품질이 낮은 기준 집합 때문에 왜곡될 수 있다고 보고하고, 표본 수를 무한대로 외삽하는 방식(FAD∞)과 곡별 FAD로 이상치를 찾는 방법을 제안했다. 공개 툴킷 fadtk(MIT 라이선스)는 CLAP, EnCodec, MERT, VGGish, DAC 등 여러 임베딩을 지원하며, README는 VGGish가 분류용으로 최적화된 모델이라 품질 측정에는 맞지 않을 수 있다고 적고, 기준·평가 집합의 표본 수와 길이를 함께 보고하라고 권한다. 2025년 6월 공개된 사람 선호 연구(12개 모델, 6,000곡, 참가자 2,500명 이상, 짝 비교 15,600건)에서는 음악 데이터로 학습한 CLAP 임베딩을 쓴 FAD(FAD-CLAP-MA)가 품질 선호와 가장 잘 맞았다. 수십 곡 규모의 내부 실험에서 FAD를 주 지표로 삼는 것은 권하지 않는다.

CLAP score는 "단어가 들어 있는가" 수준으로 읽어야 한다. 2026년 9월 공개된 조지아공대 연구는 악기 간 속성을 서로 바꾼 캡션(예: 디스토션 기타·클린 피아노 대 그 반대)을 원본과 구분하게 했을 때, 대조 학습 기반 음악-텍스트 모델 4종의 평균 정확도가 43.1~51.9%로 우연 수준이었다고 보고했다. "장르·분위기가 대체로 맞는가"는 볼 수 있어도 "솔로 악기가 지정한 대로 나왔는가"는 CLAP로 판정할 수 없다.

가사 정확도는 PER을 기본으로 한다. 통상 절차는 Demucs로 보컬을 분리하고 Whisper-large-v2 같은 인식기로 받아쓴 뒤 G2P로 음소열을 만들어 비교하는 것이다. 2025년 8월 논문은 WER이 사람 귀에 들리지 않는 오류까지 세기 때문에 PER이 가사 명료도 평정과 더 잘 맞는다고 설명한다. 다만 수치에는 인식기의 오류가 섞이므로, 절대값보다 같은 파이프라인 안에서의 조건 간 차이로 읽는다.

곡별 품질 예측기는 선별용이다. Audiobox Aesthetics(Meta, 2025년 2월)는 제작 품질·제작 복잡도·내용 즐거움·내용 유용성의 4축을 기준 음원 없이 낸다. SongEval(2025년 5월)은 전곡 2,399곡·140시간 이상에 음악 배경이 있는 평가자 16명이 점수를 매긴 데이터로 학습했다. MuQ-Eval(2026년 3월)은 MusicEval(31개 시스템, 2,748클립, 전문가 평점 13,740건)로 학습해 시스템 수준 SRCC 0.957, 클립 수준 0.838을 보고했지만, 같은 논문이 MP3 압축과 잡음은 잘 잡는 반면 피치·템포 변형에는 우연 수준이라고 밝혔다. 음이 틀리거나 박자가 흔들리는 문제는 이 점수로 걸러지지 않는다.

태거로 지시 준수를 재는 법

"색소폰 솔로", "보컬 없음" 같은 지시는 오디오 태거로 확인할 수 있다. AST, PANNs, BEATs는 모두 AudioSet(527개 클래스, 다중 라벨)으로 학습·평가된 모델이며, 공개 수치는 mAP 기준 PANNs 0.439, AST 단일 0.459·앙상블 0.485, BEATs 50.6%다. 태거 자체가 절반 정도의 정밀도라는 뜻이므로 다음을 지킨다.

• 미보정 점수를 확률로 읽지 않는다. AST 공식 구현은 시그모이드를 거치지 않은 로짓을 낸다. 시그모이드를 씌워도 "0.3 = 30% 확률"이 아니다.
• 절대 임계값 대신 상대 비교를 쓴다. 같은 프롬프트·seed에서 지시를 넣은 조건과 뺀 조건의 해당 클래스 점수 차이를 본다.
• 기준점을 직접 만든다. 해당 악기가 확실히 들어 있는 녹음과 확실히 없는 녹음 몇 개씩으로 점수 범위를 먼저 확인한다.
• 구간별로 본다. AST 입력은 약 10초(16 kHz)다. 곡 전체 평균은 "인트로에만 잠깐 나온 악기"와 "내내 연주한 악기"를 구분하지 못한다.
• 태거는 악기의 존재만 본다. 연주가 그럴듯한지는 귀로 확인한다.

주관 평가: 음량부터 맞춘다

ITU-R BS.1284-2는 비교 청취에서 시스템 간 음량을 정확히 맞추라고 요구하고, 최소 청취자 수를 전문가 10명 또는 비전문가 20명으로 제시한다. 생성 모델은 출력 음량이 제각각이고, 더 큰 쪽이 더 좋게 들리기 쉽다. 참고로 위 2025년 대규모 선호 연구의 방법 설명에서는 음량 정규화 여부를 확인하지 못했다.

• MOS(5점 척도)는 여러 시스템을 한 번에 볼 때, 블라인드 A/B는 두 조건의 차이를 가릴 때 쓴다. 작은 팀에는 A/B가 표본 효율이 좋다.
• 비교 전에 모든 클립을 같은 통합 음량(LUFS)으로 맞추고, 순서와 좌우를 무작위로 섞고, 파일명에서 조건을 지운다.

신호 품질과 마스터링

음량과 true peak의 측정 알고리즘은 ITU-R BS.1770(최신판 BS.1770-5, 2023년 11월)이 정의한다. Spotify는 재생 시 -14 LUFS로 맞추며, 마스터의 true peak을 -1 dBTP 아래로, -14 LUFS보다 큰 마스터는 -2 dBTP 아래로 두라고 안내한다. FFmpeg의 ebur128 필터로 측정할 수 있다.

생성 직후 확인할 것은 통합 LUFS, true peak, 클리핑 여부, 스펙트럼(고역이 비정상적으로 끊기는지, 저역이 뭉치는지)이다. 마스터링은 평가가 끝난 뒤에 한다. 마스터링한 결과로 모델을 비교하면 모델 차이와 후처리 차이가 섞인다.

작은 팀의 최소 실험 설계

아래는 출처의 규정이 아니라 위 한계들을 감안한 실무 제안이다.

1. 프롬프트 고정: 실제 쓸 장르·악기 구성으로 8~10개를 정하고 실험 내내 바꾸지 않는다.
2. seed 짝짓기: 모든 조건이 같은 seed 목록을 쓴다. 프롬프트당 seed 3~5개.
3. OFF 대조군: 어댑터를 뺀(또는 강도 0인) 기본 모델을 같은 프롬프트·seed로 반드시 같이 돌린다. 어댑터 없이도 나오는 결과를 어댑터의 효과로 착각하는 일을 막는다.
4. 한 번에 한 변수: 어댑터, 강도, 스텝 수, CFG를 동시에 바꾸지 않는다.
5. 음량 정합 후 블라인드 A/B: 같은 프롬프트·seed끼리 짝지어 듣는다.
6. 판정 기준을 미리 정한다: 양측 부호 검정에서 p<0.05가 되려면 10쌍 중 9쌍, 20쌍 중 15쌍 이상 한쪽이 이겨야 한다. 10쌍 중 7승은 차이가 있다고 말할 근거가 못 된다.
7. 자동 지표는 보조로: 태거 점수 차이, PER, 곡별 품질 예측 점수를 조건별 분포로 같이 적되, 청취 결과와 어긋나면 청취를 따른다.
8. 기록: 모델·어댑터 버전, 추론 설정, seed, 측정 도구 버전을 결과와 함께 남긴다.

권리와 표기: 학습 데이터, 저작권, AI 고지

이 섹션은 2026년 10월 6일 기준으로 확인한 내용이다. 법률 자문이 아니며, 소송과 규제 일정은 계속 바뀐다.

학습 데이터 소송: 어디까지 왔나

미국 — 음반사 대 Suno·Udio. 2024년 6월 UMG·Sony·Warner가 Suno(매사추세츠 연방지법, 1:24-cv-11611)와 Udio(뉴욕 남부 연방지법, 1:24-cv-04777)를 상대로 녹음물 무단 학습을 이유로 소송을 냈다. 이후 흐름은 다음과 같다.

• 2026년 9월 말 기준 진행 중인 소송은 네 건이고, 공정이용 여부에 대한 본안 판결은 아직 없다. 재판·약식판결 일정은 확인하지 못함.
• 두 번째 Suno 소송의 쟁점은 "이전 모델의 출력으로 새 모델을 학습시키면 침해가 사라지는가"이다. 원고는 Warner 등과 제휴해 만든 v6도 이전 모델의 영향을 받았다고 주장한다. 증류나 합성 데이터로 학습 이력을 정리하려는 개발자가 지켜볼 대목이다.
• 합의의 금액과 다운로드 제한 같은 세부 조건은 공식 문서로 확인하지 못함.
• 2026년 9월 29일 미국 제3연방항소법원은 Thomson Reuters v. ROSS 사건에서 AI 학습에 대한 공정이용 항변을 받아들이지 않았다. 다만 법원은 ROSS의 시스템이 새 표현을 생성하지 않는다는 점을 각주에서 구분했고, 매사추세츠 법원은 이 판결에 구속되지 않는다.

독일 — GEMA 대 Suno. 뮌헨 제1지방법원은 2026년 7월 31일(사건번호 42 O 763/25) GEMA의 청구를 대부분 받아들였다. GEMA는 여섯 곡에 대해 원곡과 혼동할 만큼 비슷한 출력이 나온다는 점을 제시했다. 법원은 스트림 리핑으로 얻은 음원의 학습용 복제를 침해로 보았고, 텍스트·데이터 마이닝 예외(독일 저작권법 §44b)도 적용하지 않았다. 판결은 확정되지 않았고 항소 대상이다. 손해배상 액수는 확인하지 못함.

실무 판단: "미국에서 학습했으니 괜찮다"는 논리가 유럽에서 통하지 않을 수 있다. 오픈 모델을 쓸 때도 모델 카드의 학습 데이터 출처와 라이선스를 기록으로 남겨 둔다.

생성물은 보호받는가

미국 저작권청. 「Copyright and Artificial Intelligence」 보고서는 Part 1(디지털 복제, 2024년 7월 31일), Part 2(저작물성, 2025년 1월 29일), Part 3(생성형 AI 학습, 2025년 5월 9일 사전공개본)로 나왔다. Part 3 최종본은 저작권청 페이지에서 확인하지 못함. Part 2의 결론은 다음과 같다.

• 순수 AI 생성물, 또는 표현 요소에 대한 사람의 통제가 부족한 결과물은 보호되지 않는다.
• 현재 기술 수준에서 프롬프트만으로는 충분한 통제가 되지 않는다.
• 출력 안에서 식별되는 사람의 창작 표현, 출력의 창작적 선택·배열, 창작적 수정은 보호된다.
• AI를 보조 도구로 쓴 것은 보호 여부에 영향을 주지 않으며, 판단은 사례별로 한다.

한국. 문화체육관광부와 한국저작권위원회가 2025년 6월 말 「생성형 인공지능 활용 저작물의 저작권 등록 안내서」를 냈고, 위원회는 2026년 4월 30일 AI-저작권 안내서 4종(저작권 안내서, 등록, 분쟁 예방, 공정이용)을 모아 게시했다. 보도에 따르면 등록 안내서는 사람의 창작적 기여가 있는 'AI 활용 저작물'은 등록할 수 있고 'AI 산출물'만으로는 등록할 수 없다고 구분한다. 단순 프롬프트 입력이나 사소한 수정은 창작적 기여로 보지 않으며, 신청할 때 AI 생성 부분과 사람이 만든 부분을 구분해 적어야 한다.

음원에 적용하면, 직접 쓴 가사와 직접 만든 멜로디, 편곡·편집 결정이 보호 대상이 될 수 있는 부분이다. 프롬프트 한 줄로 뽑은 곡 전체에 독점권이 있다고 전제하고 사업을 짜면 안 된다. 작업 기록(가사 초안, 편집 프로젝트 파일, 선택 과정)을 보관해 둔다.

곡의 권리와 녹음의 권리는 다르다

음악에는 권리가 두 겹이다. 하나는 작곡·작사(음악저작물)이고, 다른 하나는 특정 녹음에 대한 음반제작자와 실연자의 권리(한국 저작권법의 저작인접권, 미국의 sound recording 저작권)다. 한국 저작권법은 저작재산권 보호기간(제39조)과 저작인접권 보호기간(제86조)을 따로 정한다.

• 작곡가의 권리가 끝난 클래식·민요라도 최근 녹음은 보호될 수 있다. 공개 도메인 곡의 음반을 LoRA 학습 데이터나 오디오 참조 입력으로 쓰려면 녹음 자체의 라이선스를 확인해야 한다.
• 미국 음반사 소송은 녹음물 권리를, GEMA 사건은 작곡·작사 권리를 다룬다. 한쪽에서 허락을 받아도 다른 쪽은 남는다.

목소리와 퍼블리시티권

• 미국: 테네시주 ELVIS Act(2024년 3월 서명)가 목소리 모사를 퍼블리시티권 범위에 넣었다. 연방 NO FAKES Act(S. 4591)는 2026년 6월 18일 상원 법사위를 통과했지만 아직 법이 아니다.
• 일본: 2026년 9월 30일 도쿄지방법원이 AI로 복제한 목소리도 퍼블리시티권 보호 대상이 될 수 있다고 처음 인정했다고 보도되었다(해당 청구 자체는 기각).
• 한국: 유명인의 이름·초상 무단 사용에 대한 행정 시정명령 사례(2025년 3월)가 있고, 민법에 인격표지영리권을 넣는 개정안은 국회에 계류 중이다.

실존 가수의 목소리를 닮게 만드는 작업은 본인 동의 없이는 하지 않는 것이 기준이다. Spotify도 당사자가 허락한 경우에만 음성 모사를 허용한다.

AI 생성 표시 의무

• EU 50조 위반 과징금은 최대 1,500만 유로 또는 전 세계 매출의 3%다. 명백히 예술적·창작적인 작품의 딥페이크 공개는 감상을 방해하지 않는 적절한 방식이면 된다.
• 한국 가이드라인상 의무 주체는 이용자에게 직접 서비스를 제공하는 AI 사업자이고, AI를 도구로 쓰는 일반 이용자는 대상이 아니다. 음원 생성 기능을 서비스로 제공하면 사업자 쪽에 해당할 수 있다.
• YouTube는 공개가 노출이나 수익화를 제한하지 않는다고 밝히고, 반복해서 공개하지 않으면 라벨 강제 부착이나 제재가 가능하다고 안내한다.
• Deezer는 2026년 6월 정점 기준 하루 약 9만 곡, 신규 업로드의 50% 이상이 완전 AI 생성이라고 밝혔다. 이 곡들의 스트림 비중은 1~3%이고, 2025년에는 그 스트림의 최대 85%가 부정 재생으로 판정되었다. 대량 업로드는 스팸·사기 필터에 걸릴 가능성이 높다.

배포 전 체크리스트

1. 모델 출처: 사용 모델의 라이선스(상업 이용 가능 여부)와 학습 데이터 설명을 버전별로 기록한다.
2. 학습·참조 음원: LoRA 학습 녹음과 오디오 참조 입력에 대해 곡 권리와 녹음 권리를 각각 확인한다.
3. 유사도 점검: 출력이 기존 곡의 멜로디·가사를 재현하지 않는지 공개 전에 확인한다. GEMA 사건의 증거가 바로 이런 출력이었다.
4. 목소리: 실존 인물의 목소리·이름을 프롬프트, 제목, 태그에 쓰지 않는다. 쓰려면 서면 동의를 받는다.
5. 표시: 파일 메타데이터와 사람이 볼 수 있는 고지를 함께 넣고, 유통사 업로드 화면의 AI 항목을 사실대로 채운다.
6. 서비스 제공자라면: EU 이용자가 있으면 2026년 12월 2일 전까지 출력물에 기계 판독 가능한 표시를 넣는다. 한국에서는 계도기간 중에 표시 기능을 갖춘다.
7. 권리 주장 범위: 사람이 만든 부분을 구분해 기록하고, 저작권 등록 때 AI 사용 부분을 밝힌다.
8. 업로드 방식: 짧은 곡의 대량·중복 업로드를 피한다.