AI Runner

AI Runner: Ihre lokale KI-Zentrale

AI Runner ist eine Open-Source-Offline-Inferenz-Engine, die die Leistungsfähigkeit der KI auf Ihren lokalen Rechner bringen soll. Sie unterstützt eine breite Palette von Funktionen, darunter Kunstgenerierung, Echtzeit-Sprachkonversationen, LLM-gestützte Chatbots und automatisierte Arbeitsabläufe, wobei Datenschutz und Sicherheit im Vordergrund stehen.

Was ist AI Runner?

AI Runner ist ein vielseitiges Tool, mit dem Sie KI-Modelle direkt auf Ihrem Computer ausführen können, ohne auf externe APIs oder Cloud-Dienste angewiesen zu sein. Das bedeutet, dass Sie die Vorteile der KI nutzen können, ohne Ihre Daten zu gefährden oder zusätzliche Kosten zu verursachen.

Wie funktioniert AI Runner?

AI Runner nutzt Ihre lokale Hardware, einschließlich CPU und GPU, um KI-Berechnungen durchzuführen. Es unterstützt verschiedene KI-Modelle und Frameworks, sodass Sie seine Fähigkeiten an Ihre spezifischen Bedürfnisse anpassen und erweitern können. Durch die lokale Ausführung von Modellen macht AI Runner eine ständige Internetverbindung überflüssig und reduziert die Latenz, was zu einer schnelleren und reaktionsschnelleren KI-Erfahrung führt.

Hauptmerkmale von AI Runner

• Echtzeit-Konversationen:
  • Unterstützt drei Sprach-Engines: espeak, SpeechT5 und OpenVoice.
  • Bietet automatische Spracherkennung mit OpenVoice.
  • Ermöglicht Echtzeit-Sprachchat mit LLMs.
• Anpassbare KI-Agenten:
  • Ermöglicht das Erstellen benutzerdefinierter Agentennamen, Stimmungen und Persönlichkeiten.
  • Unterstützt Retrieval-Augmented Generation (RAG) für verbesserte Wissensabfrage.
  • Ermöglicht die Erstellung von KI-Persönlichkeiten und -Stimmungen.
• Verbesserte Wissensabfrage:
  • Nutzt RAG für Dokumente und Websites, sodass Sie lokale Daten verwenden können, um Chat-Interaktionen anzureichern.
• Bildgenerierung & -manipulation:
  • Unterstützt Text-zu-Bild-Generierung mit Stable Diffusion 1.5, SDXL und Turbo.
  • Bietet Zeichenwerkzeuge und ControlNet-Unterstützung für erweiterte Bildbearbeitung.
  • Bietet LoRA- und Embeddings-Unterstützung.
  • Beinhaltet Inpainting-, Outpainting- und Filterfunktionen.
• Mehrsprachige Fähigkeiten:
  • Bietet teilweise mehrsprachige TTS/STT/Interface-Unterstützung.
  • Unterstützt englische und japanische GUI.
• Datenschutz und Sicherheit:
  • Wird lokal ausgeführt, wodurch standardmäßig keine externen API-Abhängigkeiten bestehen.
  • Bietet anpassbare LLM-Guardrails und Bildsicherheitsfunktionen.
  • Deaktiviert die HuggingFace-Telemetrie.
  • Beschränkt den Netzwerkzugriff.
• Leistung & Nutzen:
  • Bietet schnelle Generierungsgeschwindigkeiten (ca. 2 Sekunden auf RTX 2080s).
  • Bietet Docker-basierte Einrichtung & GPU-Beschleunigung.
  • Unterstützt Theming (Hell/Dunkel/System).
  • Beinhaltet NSFW-Umschalter.
  • Bietet eine Extension API und Python-Bibliothek & API-Unterstützung.
• Sprachunterstützung:
  • Unterstützt verschiedene Sprachen für TTS, LLM, STT und GUI, darunter Englisch, Japanisch, Spanisch, Französisch, Chinesisch und Koreanisch.

Wie verwendet man AI Runner?

1. Installation: Befolgen Sie die detaillierten Installationsanweisungen im Installations-Wiki. Der Schnellstart umfasst die Installation von Systemvoraussetzungen, das Erstellen eines Airunner-Verzeichnisses und die Installation von AI Runner mit pip.
2. Grundlegende Verwendung:
   • AI Runner ausführen: airunner
   • Den Downloader ausführen: airunner-setup
   • Vorlagen erstellen: airunner-build-ui
3. Modelle: Laden Sie die notwendigen Modelle für Text-to-Speech, Speech-to-Text, Textgenerierung und Bildgenerierung herunter. Organisieren Sie diese unter dem lokalen AI Runner-Datenverzeichnis (~/.local/share/airunner).
4. Konfiguration: Richten Sie API-Schlüssel für optionale Drittanbieterdienste wie Google Custom Search, Bing Web Search und NewsAPI ein, falls gewünscht.
5. Slash Tools: Verwenden Sie Slash-Befehle im Chat-Prompt, um schnell Aktionen wie Bildgenerierung (/a), Codeausführung (/c) und Websuche (/s) auszulösen.

Warum AI Runner wählen?

• Datenschutz: Schützen Sie Ihre Daten, indem Sie KI-Modelle lokal ausführen.
• Anpassung: Passen Sie KI-Agenten und Workflows an Ihre spezifischen Bedürfnisse an.
• Leistung: Genießen Sie schnelle Generierungsgeschwindigkeiten und reaktionsschnelle Interaktionen.
• Erweiterbarkeit: Erweitern Sie die Funktionalität von AI Runner mit Erweiterungen und benutzerdefinierten Tools.

Für wen ist AI Runner geeignet?

AI Runner ist geeignet für:

• KI-Enthusiasten: Personen, die daran interessiert sind, KI-Technologien zu erforschen und mit ihnen zu experimentieren.
• Entwickler: Fachleute, die KI in ihre Anwendungen und Arbeitsabläufe integrieren möchten.
• Kreative: Künstler und Designer, die Bilder mit KI generieren und bearbeiten möchten.
• Forscher: Akademiker und Forscher, die KI und verwandte Bereiche studieren.

Einhaltung von Vorschriften und Offenlegungen

AI Runner enthält Funktionen, die Benutzern helfen, aufkommende KI-Vorschriften einzuhalten. Beispielsweise werden Informationen über den Colorado AI Act (SB 24-205) bereitgestellt, die Benutzer über ihre Verantwortung als Anwender von KI-Systemen mit hohem Risiko informieren.

Befehlszeilen-Tools

AI Runner bietet verschiedene Befehlszeilen-Tools für Entwicklung, Tests und Wartung. Dazu gehören Befehle zum Starten der GUI, zum Herunterladen von Modellen, zum Erstellen von UI-Dateien, zum Ausführen von Tests und zum Generieren von SSL-Zertifikaten.

Zusätzliche Ressourcen

• GitHub Repository: https://github.com/Capsize-Games/airunner
• Wiki: Konsultieren Sie das AI Runner Wiki für detaillierte Dokumentation und fortgeschrittene Themen.
• Mitwirken: Tragen Sie zum Projekt bei, indem Sie Pull-Requests für neue Funktionen, Fehlerbehebungen oder Dokumentationsverbesserungen einreichen.

AI Runner ermöglicht es Ihnen, das Potenzial der KI zu nutzen und gleichzeitig die Kontrolle über Ihre Daten und Ihren Workflow zu behalten. Tauchen Sie ein und entdecken Sie die Möglichkeiten!