Sesame

Sesame AI: Überwindung des Uncanny Valley der Konversationsstimme

Was ist Sesame AI? Sesame AI hat sich der Erreichung von „Stimmpräsenz“ in der künstlichen Intelligenz verschrieben, mit dem Ziel, gesprochene Interaktionen echt, verstanden und wertgeschätzt erscheinen zu lassen. Ihre Forschung konzentriert sich auf die Entwicklung von Gesprächspartnern, die sich auf einen echten Dialog einlassen und im Laufe der Zeit Vertrauen aufbauen.

Wie funktioniert Sesame AI? Sesame AI führt das Conversational Speech Model (CSM) ein, eine End-to-End-Multimodal-Lernaufgabe unter Verwendung von Transformatoren. CSM nutzt die Historie der Konversation, um natürlichere und kohärentere Sprache zu erzeugen.

Hauptkomponenten:

• Emotionale Intelligenz: Erkennen und Reagieren auf emotionale Kontexte.
• Konversationsdynamik: Natürliches Timing, Pausen, Unterbrechungen und Betonung.
• Kontextuelles Bewusstsein: Anpassen von Ton und Stil an die jeweilige Situation.
• Konsistente Persönlichkeit: Aufrechterhaltung einer kohärenten, zuverlässigen und angemessenen Präsenz.

Technische Details von CSM:

• CSM arbeitet als Single-Stage-Modell und verbessert so Effizienz und Ausdruckskraft.
• Es verwendet zwei autoregressive Transformatoren, die auf der Llama-Architektur basieren.
• Das Modell verarbeitet verschachtelten Text und Audio, um das nullte Codebuch zu modellieren.
• Ein separater Audio-Decoder verwendet für jedes Codebuch einen separaten linearen Head, um Sprache aus den Repräsentationen des Backbones zu rekonstruieren.

Compute-Amortisation:

Um Infrastrukturherausforderungen während des Trainings zu begegnen, verwendet Sesame AI ein Compute-Amortisationsschema, das den Speicherengpass reduziert und gleichzeitig die Genauigkeit der vollständigen RVQ-Codebücher bewahrt. Der Audio-Decoder wird nur mit einem zufälligen 1/16-Subset der Audio-Frames trainiert, während das nullte Codebuch mit jedem Frame trainiert wird.

Experimente und Ergebnisse:

Sesame AI trainierte drei Modellgrößen (Tiny, Small und Medium) auf einem großen Datensatz öffentlich verfügbarer Audiodaten. Die Auswertung umfasste objektive Metriken wie Word Error Rate (WER) und Speaker Similarity (SIM) sowie neue phonetische Transkriptions-basierte Benchmarks für Homographen-Disambiguierung und Aussprachekonsistenz.

Subjektive Metriken, die Comparative Mean Opinion Score (CMOS)-Studien auf dem Expresso-Datensatz verwendeten, zeigten, dass die Natürlichkeit zwar gesättigt ist, aber eine Lücke zwischen generierter und menschlicher Prosodie bei der Konversationssprachgenerierung besteht.

Warum Sesame AI wählen? Der Ansatz von Sesame AI bietet einen vielversprechenden Weg zu natürlicheren und ansprechenderen KI-Gesprächen. Durch die Fokussierung auf emotionale Intelligenz, kontextuelles Bewusstsein und Konversationsdynamik zielt Sesame AI darauf ab, digitale Begleiter zu schaffen, die menschliche Bedürfnisse wirklich verstehen und darauf eingehen.

Wie verwendet man Sesame AI? Probieren Sie die Konversationssprachvorschau auf der Sesame AI-Website aus, um das Potenzial ihres Ansatzes zu erleben. Die Modelle werden unter einer Apache 2.0-Lizenz verfügbar sein.

Für wen ist Sesame AI? Sesame AI ist für Forscher, Entwickler und alle, die daran interessiert sind, den Bereich der konversationellen KI voranzutreiben. Ihre Arbeit hat Anwendungen in verschiedenen Bereichen, darunter:

• KI-Assistenten
• Kundenservice
• Bildung
• Unterhaltung

Open-Sourcing und zukünftige Arbeit:

Sesame AI hat sich verpflichtet, wichtige Komponenten ihrer Forschung als Open-Source-Software zu veröffentlichen, um der Community zu ermöglichen, mit ihrem Ansatz zu experimentieren, darauf aufzubauen und ihn zu verbessern. Zukünftige Arbeiten umfassen die Vergrößerung der Modellgröße, die Erhöhung des Datenvolumens, die Erweiterung der Sprachunterstützung und die Erforschung von Möglichkeiten zur Nutzung vortrainierter Sprachmodelle.