Conformer-2

Was ist Conformer-2?

Conformer-2 stellt den neuesten Fortschritt in der automatischen Spracherkennung (ASR) von AssemblyAI dar, einem führenden Anbieter von Speech-AI-Lösungen. Dieses State-of-the-Art-Modell ist so konzipiert, dass es gesprochene englische Audioaufnahmen mit außergewöhnlicher Genauigkeit transkribiert, selbst unter anspruchsvollen Bedingungen der realen Welt. Trainiert auf beeindruckenden 1,1 Millionen Stunden vielfältiger englischer Audiodaten, baut Conformer-2 direkt auf der Grundlage seines Vorgängers Conformer-1 auf und bietet gezielte Verbesserungen in Schlüsselfeldern wie der Erkennung von Eigennamen, der alphanumerischen Transkription und der allgemeinen Robustheit gegenüber Störgeräuschen. Für Entwickler und Unternehmen, die KI-Anwendungen auf Basis von Sprachdaten erstellen – wie z. B. Callcenter-Analysen, Podcast-Zusammenfassungen oder die Transkription von virtuellen Meetings – dient Conformer-2 als entscheidender Bestandteil für zuverlässige, skalierbare Speech-to-Text-Pipelines.

Im Gegensatz zu generischen ASR-Tools ist Conformer-2 für praktische, branchenspezifische Anwendungsfälle optimiert, in denen Präzision am wichtigsten ist. Es adressiert gängige Schwachstellen in der Spracherkennung, wie z. B. die Fehlinterpretation von Namen, Zahlen oder das Umgang mit Hintergrundgeräuschen, und macht es unverzichtbar für Anwendungen im Kundenservice, Medienüberwachung und Content-Erstellung. Durch die Nutzung bahnbrechender Forschung, inspiriert von Skalierungsgesetzen großer Sprachmodelle, hat AssemblyAI ein Modell geschaffen, das nicht nur Benchmarks in nutzerzentrierten Metriken erreicht, sondern sie übertrifft und sicherstellt, dass Transkripte lesbarer und handlungsrelevanter sind.

Wie funktioniert Conformer-2?

Im Kern setzt Conformer-2 auf eine ausgeklügelte Architektur, die auf der Conformer-Modellfamilie basiert und konvolutionelle und rekurrente neuronale Netze für eine überlegene Sequenzmodellierung in der Audiobearbeitung kombiniert. Der Trainingsprozess greift auf die noisy student-teacher (NST)-Methodik zurück, die in Conformer-1 eingeführt wurde, geht aber darüber hinaus mit Model-Ensembles. Diese Technik umfasst mehrere „Teacher“-Modelle, die Pseudo-Labels auf umfangreichen ungelabelten Datensätzen generieren, die dann das „Student“-Modell – Conformer-2 selbst – trainieren. Ensembling reduziert die Varianz und steigert die Robustheit, indem das Modell einer breiteren Palette von Vorhersagen ausgesetzt wird, was individuelle Modellfehler mildert und die Leistung auf ungesehenen Daten verbessert.

Die Skalierung der Daten spielt eine entscheidende Rolle für die Fähigkeiten von Conformer-2. Basierend auf Erkenntnissen aus dem Chinchilla-Papier von DeepMind zu optimalem Trainings-Compute für große Modelle hat AssemblyAI den Datensatz auf 1,1 Millionen Stunden erweitert – 170 % mehr als bei Conformer-1 – und das Modell auf 450 Millionen Parameter ausgebaut. Dieser ausgewogene Ansatz folgt spezifischen Skalierungsgesetzen für Sprache, bei denen Audiostunden mit Text-Tokens gleichgesetzt werden (unter Verwendung einer Heuristik von 1 Stunde ≈ 7.200 Wörter oder 9.576 Tokens). Das Ergebnis? Ein Modell, das sich besser über vielfältige Audioquellen generalisiert, von klaren Podcasts bis hin zu verrauschten Telefonaten.

Die Inferenzgeschwindigkeit ist ein weiteres Markenzeichen von Conformer-2. Trotz seiner größeren Größe reduzieren Optimierungen in der Serving-Infrastruktur von AssemblyAI, einschließlich eines benutzerdefinierten GPU-Clusters mit 80-GB-A100s und einem fehlertoleranten Slurm-Scheduler, die Latenz um bis zu 53,7 %. Zum Beispiel dauert die Transkription einer einstündigen Audiodatei nun nur noch 1,85 Minuten, im Vergleich zu 4,01 Minuten bei Conformer-1. Diese Effizienz wird ohne Einbußen bei der Genauigkeit erzielt, was sie für Echtzeit- oder hochvolumige Anwendungen machbar macht.

Um Conformer-2 zu integrieren, greifen Nutzer über die API von AssemblyAI darauf zu, die allgemein verfügbar ist und als Standardmodell eingestellt wurde. Für bestehende Nutzer sind keine Codeänderungen erforderlich – sie profitieren automatisch von den Upgrades. Die API unterstützt Funktionen wie den neuen speech_threshold-Parameter, der die Ablehnung von Audiodateien mit niedrigem Sprachanteil (z. B. Musik oder Stille) ermöglicht, um Kosten zu kontrollieren und die Verarbeitung auf relevante Inhalte zu konzentrieren. Der Einstieg ist unkompliziert: Melden Sie sich für einen kostenlosen API-Token an, erkunden Sie die Dokumentation oder testen Sie es über den webbasierten Playground, indem Sie Dateien oder YouTube-Links hochladen.

Wichtige Verbesserungen und Leistungsergebnisse

Conformer-2 hält die Wortfehlerrate (WER) von Conformer-1 aufrecht, glänzt aber in praktischen Metriken, die mit den Bedürfnissen der realen Welt übereinstimmen. Hier eine Aufschlüsselung seiner Fortschritte:

• Verbesserung der Proper Noun Error Rate (PPNER) (6,8 %): Traditionelle WER übersieht den Einfluss von Fehlern in Entitäten wie Namen oder Adressen. Die benutzerdefinierte PPNER-Metrike von AssemblyAI, basierend auf Jaro-Winkler-Ähnlichkeit, bewertet die Zeichen-Level-Genauigkeit für Eigennamen. Über 60+ Stunden gelabelter Daten aus Bereichen wie Callcentern und Webinaren reduziert Conformer-2 die PPNER und führt zu konsistenteren und lesbareren Transkripten. Zum Beispiel kann in Kundeninteraktionen das korrekte Erfassen eines Klienten-Namens nachgelagerte Missverständnisse verhindern.

• Alphanumerische Transkriptionsgenauigkeit (31,7 % Verbesserung): Zahlen und Codes sind entscheidend in Finanz-, E-Commerce- oder Verifizierungsszenarien. Conformer-2 wurde auf 100 synthetisierten Sequenzen (5–25 Ziffern, gesprochen von 10 Sprechern) getestet und erreichte eine relative Reduktion der Zeichenfehlerrate (CER) um 30,7 %. Es zeigt auch eine geringere Varianz, was weniger katastrophale Fehler bedeutet – ideal für Anwendungen wie die Transkription von Kreditkartendaten oder Bestellbestätigungen.

• Robustheit gegenüber Störgeräuschen (12,0 % Verbesserung): Reales Audio enthält oft Hintergrundgeräusche, im Gegensatz zu sterilen Benchmarks. Unter Verwendung des LibriSpeech-clean-Datensatzes, angereichert mit Gaußschem Rauschen bei variierenden Signal-to-Noise-Ratios (SNR), übertrifft Conformer-2 Conformer-1, insbesondere bei 0 dB SNR (gleiches Signal und Rauschen). Dieser 43 %-Vorteil gegenüber Wettbewerbern in verrauschten Bedingungen macht es robust für Podcasts, Sendungen oder Remote-Meetings.

Diese Gewinne resultieren aus verbesserter Pseudo-Labeling mit mehreren Lehrern und vielfältigen Trainingsdaten, die sicherstellen, dass das Modell Variabilitäten in Akzenten, Geschwindigkeiten und Umgebungen bewältigt.

Anwendungsfälle und praktischer Wert

Conformer-2 stärkt eine breite Palette KI-gestützter Anwendungen. In Medien und Content-Erstellung eignet es sich hervorragend zur Transkription von Podcasts oder Videos, was Auto-Zusammenfassungen, Kapitel-Erkennung oder Sentiment-Analyse ermöglicht. Für Kundenservice und Callcenter verbessern seine Rauschbehandlung und Entitäts-Erkennung Analysen von Support-Anrufen und identifizieren Handlungsgegenstände oder Kundenschmerzpunkte. Unternehmen in Finanz- und E-Commerce-Bereichen profitieren von genauer numerischer Transkription für Transaktionsprotokolle oder IVR-Systeme.

Der Wert des Modells liegt in seiner Skalierbarkeit und einfachen Integration. Entwickler können generative KI-Apps – wie sprachgesteuerte Chatbots oder automatisierte Berichtserstellung – aufbauen, ohne mit benutzerdefiniertem Training ringen zu müssen. Die unternehmensklasse Sicherheit, Benchmarks und Unterstützung von AssemblyAI steigern seinen Reiz weiter. Frühe Adopter berichten von schnellerer Verarbeitung und höherer Output-Qualität, was direkt die Produktivität und das Nutzererlebnis beeinflusst.

Für wen ist Conformer-2?

Dieses Modell richtet sich an Produktteams, Entwickler und Unternehmen, die mit gesprochenen Daten arbeiten. Wenn Sie in der KI-Forschung tätig sind und robuste ASR für Experimente benötigen; ein Startup, das No-Code-Sprach-Tools aufbaut; oder ein großes Unternehmen, das Medienüberwachung skaliert – Conformer-2 passt. Es eignet sich besonders für diejenigen, die frustriert sind über die Einschränkungen von Off-the-Shelf-ASR in verrauschten oder entitätsreichen Audios. Nicht-technische Nutzer können den Playground für schnelle Tests nutzen, während API-Nutzer es in Workflows über Python, JavaScript oder andere Sprachen integrieren.

Warum Conformer-2 wählen?

In einer überfüllten ASR-Landschaft hebt sich Conformer-2 durch forschungsbasierte Innovationen und kundenfokussierte Metriken ab. Es vermeidet die Fallstricke übertrainierter oder unter-skalierter Modelle und liefert Geschwindigkeit ohne Kompromisse. Unterstützt von AssemblyAIs eigener Hardware und laufender F&E in Multimodalität und selbstüberwachten Lernen, ist es zukunftssicher. Zudem mit kostenlosen Tests und transparenter Preisgestaltung ist es zugänglich für Experimente.

Für die besten Ergebnisse in der Spracherkennung starten Sie mit Conformer-2 in Ihrem nächsten Projekt. Ob Sie Genauigkeit bei Eigennamen optimieren, numerische Präzision sicherstellen oder verrauschte Umgebungen meistern – dieses Modell setzt einen neuen Standard. Erkunden Sie die Docs von AssemblyAI für Code-Beispiele oder kontaktieren Sie den Vertrieb für benutzerdefinierte Integrationen – das volle Potenzial von Voice AI freizusetzen war nie einfacher.