AutoArena
Présentation de l’outil
AutoArena est un outil open source conçu pour automatiser l'évaluation des grands modèles de langage (LLM), des systèmes de génération augmentée par récupération (RAG) et d'autres applications d'IA générative. Il exploite le jugement direct à l'aide de modèles de juge pour fournir des résultats fiables. Évaluez votre système d'IA générative en CI. Configurez des automatisations dans votre référentiel de code source pour bloquer les mauvaises modifications d'invite, les mises à jour de prétraitement ou de post-traitement ou les mises à jour du système RAG. Découvrez comment la dernière version de votre système se compare aux versions précédentes de votre système. Intégrez-le via un bot GitHub qui commente vos demandes d'extraction. Il prend en charge l'intégration avec divers modèles de juge d'OpenAI, Anthropic, Cohere, Google et autres, ainsi que des modèles open-weight exécutés localement via Ollama. Avec AutoArena, vous pouvez réduire les biais d'évaluation, gagner du temps et de l'argent sur les évaluations et affiner les modèles de juge pour des évaluations plus précises et spécifiques au domaine. Installez localement avec pip install autoarena.
Liens Similaires
Le cadre d'IA open source MindSpore de Huawei. Différenciation automatique et parallélisation, une formation, déploiement multi-scénarios. Cadre d'entraînement et d'inférence d'apprentissage profond prenant en charge tous les scénarios du cloud côté terminal, principalement utilisé dans la vision par ordinateur, le traitement du langage naturel et d'autres domaines de l'IA, pour les scientifiques des données, les ingénieurs en algorithmes et autres personnes.
Tirez le meilleur parti de vos activités liées à l'ESG avec l'abonnement AmberESG GenAI SaaS. Apprenez-en davantage sur les informations relatives à l'ESG provenant de sources publiques, créez du contenu et des campagnes liés à l'ESG.
SMSGenius : logiciel de marketing SMS n° 1 pour dynamiser votre entreprise, obtenir plus de clics, de prospects et de ventes grâce à l’optimisation des envois par l’IA et au suivi des conversions sans cookie. Essai gratuit disponible.
Créez rapidement des applications Telegram pour les startups IA. Chatbots, Mini Apps et infrastructure d'IA. De l'idée au MVP en 4 semaines.
LlamaIndex est un cadre flexible pour construire des assistants de connaissances utilisant des LLM connectés aux données d'entreprise, permettant un déploiement rapide de solutions alimentées par l'IA.
Améliorez votre application avec Form2Agent AI, une solution d'IA assistée par la voix qui améliore l'expérience utilisateur et garantit une saisie de données précise et une manipulation de contenu avec support pour le texte, la voix et les fichiers, s'intégrant facilement dans votre application web ou mobile existante.
Helio.AI est une plateforme de recrutement basée sur l'IA qui automatise le filtrage des CV et le profilage des candidats pour aider les entreprises à embaucher les meilleurs talents efficacement.
Quick Snack vous permet de créer des applications React Native en parlant à un assistant LLM/IA. Il est construit sur Expo Snack.
RecurseChat : Une application d'IA personnelle pour discuter avec l'IA locale, compatible hors ligne, et discuter avec PDF/markdown.