KoboldCpp

KoboldCpp: Votre solution tout-en-un pour la génération de texte et d'image par l'IA

Qu'est-ce que KoboldCpp ? KoboldCpp est un logiciel d'IA polyvalent et convivial conçu pour la génération de texte et d'image. Inspiré par le KoboldAI original, il simplifie le processus d'exécution des modèles GGML et GGUF, offrant un seul exécutable autonome sans installation requise.

Principales caractéristiques

• Exécutable en un seul fichier: Aucune installation ni dépendance externe nécessaire.
• Support CPU et GPU: Fonctionne efficacement sur CPU et GPU, avec des options de déchargement complet ou partiel.
• Génération de texte LLM: Compatible avec tous les modèles GGML et GGUF, assurant une compatibilité ascendante.
• Génération d'image: Prend en charge Stable Diffusion 1.5, SDXL, SD3 et Flux pour générer des images de haute qualité.
• Discours vers texte: Intègre Whisper pour la reconnaissance vocale.
• Texte vers discours: Prend en charge OuteTTS, Kokoro, Parler et Dia pour la génération vocale.
• Points de terminaison API: Fournit des points de terminaison API compatibles pour les services web populaires tels que KoboldCppApi, OpenAiApi, OllamaApi, et plus encore.
• Interface utilisateur intégrée: Inclut KoboldAI Lite UI avec des outils d'édition, des formats de sauvegarde, la mémoire, les informations sur le monde, la note de l'auteur, les personnages et les scénarios.
• Modes et thèmes multiples: Offre des modes chat, aventure, instruction et écrivain d'histoires, ainsi que divers thèmes d'interface utilisateur.
• Prise en charge des formats de données: Prend en charge les cartes de personnage de Tavern, les fichiers de sauvegarde JSON et les histoires persistantes.
• Fonctionnalités supplémentaires: Inclut de nouveaux échantillonneurs, la prise en charge des regex, la recherche web, RAG via TextDB et la reconnaissance/vision d'image.
• Multiplateforme: Binaires prêts à l'emploi pour Windows, MacOS et Linux, avec prise en charge de Colab, Docker, Android (via Termux) et Raspberry Pi.

Comment fonctionne KoboldCpp ?

KoboldCpp exploite la puissance de llama.cpp et stable-diffusion.cpp pour offrir une expérience d'IA transparente. Il fonctionne en :

1. Chargeant des modèles GGML ou GGUF pour la génération de texte.
2. Utilisant des modèles Stable Diffusion pour la génération d'image.
3. Employant Whisper pour la reconnaissance vocale et divers moteurs TTS pour la génération vocale.
4. Fournissant des points de terminaison API pour l'intégration avec d'autres services.

Comment utiliser KoboldCpp

1. Télécharger: Obtenez le dernier exécutable Koboldcpp pour votre système d'exploitation à partir de la page officielle des versions.
2. Exécuter: Exécutez simplement le fichier téléchargé. Aucune installation n'est requise.
3. Charger un modèle: Obtenez un modèle GGUF à partir de sources telles que Hugging Face. Les débutants peuvent trouver L3-8B-Stheno-v3.2, Tiefighter 13B ou Gemma-3-27B Abliterated appropriés.
4. Se connecter: Par défaut, vous pouvez accéder à KoboldCpp via http://localhost:5001.

Utilisation sous Windows

• Téléchargez le fichier koboldcpp.exe.
• Exécutez l'exécutable pour lancer l'interface graphique.
• Chargez un modèle GGUF et connectez-vous au serveur local.

Utilisation sous Linux

• Téléchargez le binaire koboldcpp-linux-x64.
• Rendez le fichier exécutable avec chmod +x koboldcpp-linux-x64.
• Exécutez le binaire en utilisant ./koboldcpp-linux-x64.

Utilisation sous MacOS

• Téléchargez le binaire MacOS.
• Définissez le fichier comme exécutable en utilisant chmod +x koboldcpp-mac-arm64.
• Exécutez le binaire avec ./koboldcpp-mac-arm64.

Exécuter sur Colab

KoboldCpp propose un notebook GPU Colab officiel pour une configuration et une utilisation faciles.

Exécuter sur RunPod

KoboldCpp peut être déployé sur les GPU cloud RunPod pour des performances évolutives.

Optimisation des performances

• Accélération GPU: Utilisez les drapeaux --usecuda (Nvidia) ou --usevulkan (n'importe quel GPU).
• Déchargement de la couche GPU: Utilisez --gpulayers pour décharger les couches de modèle vers la VRAM.
• Taille du contexte: Augmentez la taille du contexte avec --contextsize.
• Compatibilité CPU: Utilisez --noavx2 pour les anciens CPU.

À qui s'adresse KoboldCpp ?

KoboldCpp est idéal pour :

• Les passionnés d'IA qui souhaitent une solution simple et tout-en-un pour la génération de texte et d'image.
• Les développeurs à la recherche de points de terminaison API pour intégrer des capacités d'IA dans leurs applications.
• Les créatifs à la recherche d'outils pour améliorer leurs processus de narration, de jeu de rôle et de création de contenu.

Pourquoi choisir KoboldCpp ?

KoboldCpp se distingue par :

• Sa facilité d'utilisation
• Son ensemble de fonctionnalités complet
• Sa compatibilité multiplateforme
• Ses options d'optimisation des performances

Ressources supplémentaires

• Modèles: Trouvez des modèles de texte GGUF sur Hugging Face et des modèles d'image sur CivitAI.
• Documentation: Consultez la documentation de l'API KoboldAI pour plus de détails sur les points de terminaison.
• Communauté: Rejoignez le serveur Discord de KoboldAI pour obtenir de l'aide et des discussions.

KoboldCpp simplifie la génération de texte et d'image basée sur l'IA, la rendant accessible à un large éventail d'utilisateurs. Que vous génériez des histoires, créiez des images ou intégriez l'IA dans vos projets, KoboldCpp offre une solution robuste et conviviale. En prenant en charge diverses plates-formes et en fournissant des options d'optimisation, il garantit une expérience d'IA fluide et efficace. Envisagez d'explorer KoboldCpp pour votre prochain projet d'IA.