Fish Audio Drama 3 프리릴리스

발행 2026.10.25출처 GitHub · github.com

Docker레퍼런스전문가

Fish Audio Drama 3 사전 릴리스 변경 기록

릴리스 목록

Fish Audio Drama 3 — Pre-Release 사전 릴리스

사전 릴리스

Whale-Dolphin 이 13 Oct 16:05에 릴리스함

v3.0.0-beta

1ff3c3e

Fish Audio Drama 3 — Pre-Release

텍스트를 연출된 공연으로 바꾸는 오픈소스 음성 생성 모델입니다.

수천억 개의 토큰과 약 80개의 언어 및 방언으로 사전 학습된 Drama 3는, Qwen3.5에서 초기화한 35B-A3B 하이브리드 linear-attention MoE 백본과 새로운 codebook-MTP 오디오 디코더, 그리고 단일 인간 선호 보상 모델을 사용한 RL을 결합합니다. 여러 참고 음성에서 목소리를 복제하고, 자연어 지시를 따르며, 다음 턴에서의 메모를 바탕으로 테이크를 수정하고, 여러 등장인물이 나오는 장면에 목소리를 입히며, infilling으로 음성을 편집하고, 긴 형식과 스트리밍 오디오를 모두 하나의 모델로 합성합니다.

기술 보고서 · 모델 · 문서 · 플레이그라운드

모델

변형	매개변수	코덱	출력
Drama 3	35B MoE (3B active) + 13-layer codebook-MTP decoder	ModifiedDAC (same as S2), 10 codebooks, ~21.5 Hz	44.1 kHz

최소 48 GB 이상의 NVIDIA GPU(FP8)가 필요합니다. S2-Pro는 동일한 명령줄, API 서버, WebUI와 함께 계속 완전히 지원되며, 모델 유형은 체크포인트의 config.json에서 읽습니다.

주요 내용

하이브리드 MoE 백본: 4개 중 1개는 gated full-attention 층인 Gated DeltaNet linear attention, 256개 expert, top-8에 shared expert 1개를 더해 토큰당 약 3B 활성화
Codebook-MTP 디코더: S2의 Fast AR을 대체하는 13개 층(공유 4개 + 코드북별 9개); 각 층은 reference audio를 포함한 전체 시퀀스 위를 인과적으로 attention함
연출된 공연: [laughs] 같은 포인트 태그, <whisper>...</whisper> 같은 범위 태그, 스타일 설명, 자유 형식의 감독 메모
다중 턴 수정: 테이크가 빗나갔을 때 다음 턴에서 [previous보다 더 행복하게] 같은 메모를 주면 모델이 원본 reference와 최신 테이크를 문맥에 유지한 채 다시 생성함; Step-Audio-Edit에서는 3회 반복 시 감정 정확도가 55.5%에서 58.2%로, 스타일 정확도가 76.5%에서 81.8%로 상승
infilling으로 편집: 기존 음성 안에 단어 또는 문장을 삽입, 삭제, 교체; 대상 텍스트에 해당하는 편집 창만 다시 생성하고, 그 앞뒤 오디오는 그대로 유지함. 파랭귀지스틱 이벤트도 같은 방식으로 추가함. 예를 들어 [coughs]를 삽입하고 그 부분을 infill함. 영어와 중국어 모두에서 Ming-Freeform-Audio-Edit 기준 Cartesia Sonic-3의 infill API보다 WER이 더 낮음
장면 & 장문: <|speaker:i|>를 사용하는 여러 등장인물 장면(최대 16명), 장문 합성, 스트리밍 텍스트 입력
RL 정렬: 규칙 기반 보상과 KL 패널티 없이, 단일 학습된 인간 선호 보상 모델을 사용한 GRPO
빠른 추론: 블록 스케일 FP8 expert와 CUDA graphs; SGLang-Omni를 사용해 H200 한 대에서 스트림당 271 frames/s, S2의 177 대비 향상

변경 사항

모델 및 추론

Drama 3용 새로운 fish_omni 모델 패밀리: FP8 expert, CUDA-graph 디코딩, 멀티 GPU 로딩, SM80 이전 GPU를 위한 float16 fallback
Drama 3용 긴 텍스트 청킹(~300 UTF-8 바이트, 청크당 최대 3명의 화자), 생성 전에 모든 청크 검증
두 모델 모두 공식 Fish Audio SDK 샘플링 기본값 사용(temperature 0.7, top-p 0.7, top-k 30)
수정됨: 작은 max_new_tokens 또는 음수 max_new_tokens에서 S2-Pro 크래시 발생; 활성 KV-cache 접두사에 대한 attention 가속

Docker 및 배포

서버 이미지에 이제 http://localhost:8080/ui의 WebUI가 함께 포함됨
Docker / Compose에서 DEVICE 및 선택적 DECODER_CHECKPOINT_PATH; 대형 체크포인트를 위한 healthcheck 시작 유예 시간 연장
S2-Pro용 AMD ROCm 이미지(RDNA3/RDNA4); Blackwell(sm_120)용 CUDA 12.9

API 및 서버

Awesome WebUI가 Gradio WebUI를 대체하며, 각 모델의 기본값을 로드함
GET /v1/tts/defaults, reference별 speaker 필드(0–15), 잘못된 입력은 500 대신 400 반환
수정됨: 비스트리밍 pcm / opus 출력, 스트리밍 WAV 헤더, uvicorn workers > 1, reference ID 경로 탐색

파인튜닝

이 저장소에서 파인튜닝 코드 제거됨(학습 스크립트, LoRA, 데이터셋 및 VQ 추출 도구)

문서 및 인프라

README & MkDocs가 Drama 3에 맞게 7개 언어로 다시 작성됨(스페인어 추가)
라이선스가 Fish Audio Community License로 업데이트되었으며, S2-Pro 가중치는 여전히 Fish Audio Research License 아래에 있음
기존 코드(Gradio WebUI, i18n, quantize 도구) 제거됨

Fish Audio S2 Beta 사전 릴리스

사전 릴리스

Whale-Dolphin가 10 Mar 15:29에 릴리스함

v2.0.0-beta

3578e4e

Fish Audio S2 — 사전 릴리스

오픈 소스와 폐쇄형 소스를 통틀어 최고의 텍스트-음성 변환 시스템.

약 ~50개 언어에 걸친 1,000만 시간 이상의 음성 데이터로 학습되었으며, S2는 Dual-AR 아키텍처(Qwen3 백본)와 GRPO 강화학습 정렬을 결합해 자연스럽고 감정이 풍부한 음성을 세밀한 인라인 제어와 함께 생성합니다.

기술 보고서 · 블로그 · 모델 · 플레이그라운드

모델

변형	파라미터	코덱	출력
S2-Pro	4B (slow) + 400M (fast)	ModifiedDAC, 10 codebooks, ~21 Hz	44.1 kHz

주요 내용

Dual-AR: 느린 AR(4B)이 시간 축을 따라 semantic codebook을 예측하고, 빠른 AR(400M)이 매 단계마다 9개의 residual codebook을 채움
인라인 제어: [laugh], [whispers], [super happy] 같은 자유 형식 태그를 단어 단위로 사용 가능
RL 정렬: 데이터 필터링과 RL 보상에 같은 모델을 사용하는 통합 데이터-보상 파이프라인의 GRPO
SGLang 스트리밍: RTF 0.195, TTFA 약 100ms, 단일 H200에서 초당 3000개 이상의 토큰
50개 이상 언어, 다중 화자(<|speaker:i|>), 다중 턴, 빠른 음성 복제(10~30초 참고 음성)

변경 사항

모델 및 추론

Qwen3 백본을 사용한 새로운 Dual-AR 아키텍처로 Fish-Speech v1.5를 대체
Firefly/VQ-GAN을 대체하는 새로운 ModifiedDAC 오디오 코덱
하위 호환성을 유지하면서 fish_qwen3_omni 체크포인트 형식(샤딩된 safetensors) 지원
수정됨: torch.compile 버그, GPU 메모리 누수, 오디오 품질 문제

Docker 및 배포

Docker 전면 개편: 멀티 타깃 빌드, compose 지원, 상태 검사, non-root 사용자
SGLang 서버 통합

API 및 서버

참조 음성 관리 API(CRUD), multipart 업로드 지원
다양한 서버 버그 수정, /health 엔드포인트

파인튜닝

S1/S2용 전체 파인튜닝 파이프라인(데이터셋, 학습, LoRA 병합)

문서 및 인프라

README & MkDocs가 S2에 맞게 6개 언어로 다시 작성됨
라이선스가 Fish Audio Research License로 업데이트됨
기존 코드(Firefly VQ-GAN, SenseVoice, Fish Agent, 기존 배치 파일) 제거됨

V1.5.1 최신

최신

leng-yue가 31 May 12:15에 릴리스함

v1.5.1

58046ea

다음 모델 릴리스 전의 마지막 안정 브랜치입니다.

V1.5.0

leng-yue가 25 Dec 02:53에 릴리스함

v1.5.0

7902e40

Fish Speech 1.5 릴리스이며, 추론과 파인튜닝이 모두 완료되었습니다.

V1.4.3

leng-yue가 29 Nov 06:36에 릴리스함

v1.4.3

1359896

1.5 이전의 마지막 안정 릴리스

V1.4.2

leng-yue가 25 Oct 07:15에 릴리스함

v1.4.2

f8a57fb

변경 사항

@PoTaTo-Mika가 #556에서 WebUI에 오디오 선택 기능을 추가했습니다.
@AnyaCoder가 #568에서 cache max_seq_len을 수정했습니다.
docs: @Octopus058가 #569에서 zh-cn README에 Docker 아이콘이 빠져 있고, ja README에는 영어로 표시되어 있으며, “简体中文” 표현을 더 적절하게 수정했습니다.
docs: @Octopus058가 #574에서 README의 지원 언어 표기를 잘못된 표현들로부터 수정했습니다.
@AnyaCoder가 #588에서 API JSON 형식을 수정했습니다.
@AnyaCoder가 #592에서 v1.4 README와 샘플을 업데이트했습니다.
[chore] @Tps-F가 #544에서 macos용 문서를 추가했습니다.
[pre-commit.ci] @pre-commit-ci가 #599에서 pre-commit을 자동 업데이트했습니다.
chore: @bjwswang가 #605에서 post_api의 오타를 수정했습니다.
feat: @AnyaCoder가 #621에서 api.py의 워커 수를 더 많이 사용할 수 있도록 했습니다.
@med1844가 #620에서 firefly의 깨진 remove_parameterization을 수정했습니다.
@AnyaCoder가 #622에서 dockerfile을 수정했습니다.
@AnyaCoder가 #623에서 pyaudio용 dockerfile을 수정했습니다.
@AnyaCoder가 #626에서 문서를 업데이트했습니다.
@AnyaCoder가 #627에서 백엔드를 수정했습니다.
@AnyaCoder가 #638에서 문서를 업데이트했습니다.