VoiceCraft

VoiceCraft: Zero-Shot Spracheditierung und Text-zu-Sprache in freier Wildbahn

VoiceCraft ist ein leistungsstarkes Open-Source-Tool, das modernste Leistung sowohl für die Spracheditierung als auch für Zero-Shot-Text-to-Speech (TTS) bietet. Es zeichnet sich durch die Verarbeitung vielfältiger, realer Audiodaten aus, darunter Hörbücher, Internetvideos und Podcasts. Was VoiceCraft auszeichnet, ist seine Fähigkeit, eine unbekannte Stimme mit nur wenigen Sekunden Referenzaudio zu klonen oder zu bearbeiten.

Was ist VoiceCraft?

VoiceCraft ist ein neuronales Codec-Sprachmodell zur Token-Infilling, das für hochwertige Spracheditierungs- und TTS-Aufgaben entwickelt wurde. Es nutzt Zero-Shot-Learning, was bedeutet, dass es sich mit minimalen Trainingsdaten an neue Stimmen anpassen kann.

Wie funktioniert VoiceCraft?

VoiceCraft arbeitet als neuronales Codec-Sprachmodell. Zu den wichtigsten Aspekten seiner Funktionalität gehören:

• Token Infilling: VoiceCraft verwendet eine Token-Infilling-Technik, um Sprache nahtlos zu bearbeiten und zu generieren.
• Zero-Shot-Learning: Es kann sich mit nur wenigen Sekunden Referenzaudio an neue Stimmen anpassen, wodurch umfangreiche Trainingsdaten überflüssig werden.
• Neuronales Codec-Sprachmodell: Diese Architektur ermöglicht eine qualitativ hochwertige Sprachsynthese und -bearbeitung.

Wie verwendet man VoiceCraft?

Es gibt mehrere Möglichkeiten, VoiceCraft zu verwenden:

• Google Colab: Der einfachste Weg, um loszulegen, ist die Verwendung der bereitgestellten Google Colab-Notebooks für Spracheditierung und TTS-Inferenz.
• Docker: Verwenden Sie das bereitgestellte Docker-Image für eine konsistente und reproduzierbare Umgebung.
• Eigenständiges Skript: Integrieren Sie VoiceCraft mithilfe der eigenständigen Skripte in Ihre Projekte.

Hier ist eine Aufschlüsselung der einzelnen Methoden:

Google Colab

Google Colab bietet eine einfache Möglichkeit, mit der Verwendung von VoiceCraft zu beginnen. Folge diesen Schritten:

1. Öffnen Sie das Speech Editing Colab-Notebook.
2. Öffnen Sie das TTS Inference Colab-Notebook.
3. Befolgen Sie die Anweisungen in den Notebooks, um die Demos auszuführen.

Docker

Docker bietet eine konsistente Umgebung für die Ausführung von VoiceCraft. So richten Sie es ein:

1. Klonen Sie das Repository:

git clone git@github.com:jasonppy/VoiceCraft.git cd VoiceCraft ``` 2. Erstellen Sie das Docker-Image:

```bash

docker build --tag "voicecraft" . ``` 3. Starten Sie den Docker-Container:

```bash

./start-jupyter.sh # linux start-jupyter.bat # windows ``` 4. Öffnen Sie die in den Docker-Logs angezeigte URL in Ihrem Browser. 5. Öffnen Sie inference_tts.ipynb und befolgen Sie die Anweisungen.

Eigenständiges Skript

So verwenden Sie VoiceCraft als eigenständiges Skript:

1. Stellen Sie sicher, dass Ihre Umgebung korrekt eingerichtet ist (siehe Abschnitt Umgebungseinrichtung).

2. Verwenden Sie die Skripte tts_demo.py und speech_editing_demo.py.

python3 tts_demo.py -h ```

Warum VoiceCraft wählen?

• Zero-Shot-Fähigkeit: Passt sich schnell und mit minimalen Daten an neue Stimmen an.
• Hochwertige Ausgabe: Bietet modernste Leistung bei Spracheditierung und TTS.
• Vielseitig: Funktioniert gut mit verschiedenen Audioquellen.
• Open-Source: Fördert Community-Beiträge und -Anpassung.

Für wen ist VoiceCraft?

VoiceCraft ist ideal für:

• Forscher: Erforschung von Sprachsynthese- und Bearbeitungstechniken.
• Entwickler: Integration erweiterter TTS-Funktionen in Anwendungen.
• Content Creators: Generierung hochwertiger Voiceovers und bearbeiteter Audioinhalte.
• Hobbyisten: Experimentieren mit Stimmklonen und Audiomanipulation.

Hauptmerkmale:

• Smart Transcript: Ermöglicht Benutzern, genau anzugeben, was sie generieren möchten.
• TTS-Modus: Zero-Shot-TTS zur Generierung von Sprache aus Text.
• Edit-Modus: Spracheditierungsfunktionen zum Bearbeiten vorhandener Audioinhalte.
• Long-TTS-Modus: Vereinfacht TTS bei langen Texten.

Umgebungseinrichtung:

So richten Sie Ihre Umgebung für VoiceCraft ein:

1. Erstellen Sie eine neue Conda-Umgebung:

conda create -n voicecraft python=3.9.16 conda activate voicecraft ``` 2. Installieren Sie die erforderlichen Pakete:

```bash

pip install -e git+https://github.com/facebookresearch/audiocraft.git@c5157b5bf14bf83449c17ea1eeb66c19fb4bc7f0#egg=audiocraft pip install xformers0.0.22 pip install torchaudio2.0.2 torch2.0.1 apt-get install ffmpeg apt-get install espeak-ng pip install tensorboard2.16.2 pip install phonemizer3.2.1 pip install datasets2.16.0 pip install torchmetrics0.11.1 pip install huggingface_hub0.22.2 conda install -c conda-forge montreal-forced-aligner=2.2.17 openfst=1.8.2 kaldi=5.5.1068 mfa model download dictionary english_us_arpa mfa model download acoustic english_us_arpa conda install -n voicecraft ipykernel --no-deps --force-reinstall ```

Training und Feinabstimmung:

VoiceCraft unterstützt das Training und die Feinabstimmung auf benutzerdefinierten Datensätzen. Der Prozess umfasst:

1. Vorbereiten von Äußerungen und deren Transkripten.
2. Codieren von Äußerungen in Codes mit Encodec.
3. Konvertieren von Transkripten in Phonemsequenzen.
4. Erstellen einer Manifestdatei.

Der beste Weg, VoiceCraft zu nutzen, ist die Verwendung der bereitgestellten Skripte und Notebooks und deren Anpassung an Ihren spezifischen Anwendungsfall. Ob Spracheditierung, TTS oder Stimmenklonen, VoiceCraft bietet eine robuste und flexible Lösung.

VoiceCraft ist für die Codebasis unter CC BY-NC-SA 4.0 (LICENSE-CODE) und für die Modellgewichte unter Coqui Public Model License 1.0.0 (LICENSE-MODEL) lizenziert. Es enthält auch Code aus anderen Repositories unter MIT- und Apache 2.0-Lizenzen.