Nexa SDK

Nexa SDK : Déployez des modèles d’IA sur n’importe quel appareil en quelques minutes

Nexa SDK est un kit de développement logiciel conçu pour rationaliser le déploiement de modèles d’IA sur divers appareils, notamment les téléphones mobiles, les PC, les systèmes automobiles et les appareils IoT. Il vise à fournir une inférence sur l’appareil rapide, privée et prête pour la production sur différents backends tels que NPU (Neural Processing Unit), GPU (Graphics Processing Unit) et CPU (Central Processing Unit).

Qu’est-ce que Nexa SDK ?

Nexa SDK est un outil qui simplifie le processus complexe de déploiement de modèles d’IA sur des appareils périphériques. Il permet aux développeurs d’exécuter des modèles sophistiqués, notamment des Large Language Models (LLM), des modèles multimodaux, Automatic Speech Recognition (ASR) et Text-to-Speech (TTS), directement sur l’appareil, garantissant à la fois la vitesse et la confidentialité.

Comment fonctionne Nexa SDK ?

Nexa SDK fonctionne en fournissant aux développeurs les outils et l’infrastructure nécessaires pour convertir, optimiser et déployer des modèles d’IA sur diverses plateformes matérielles. Il exploite des technologies telles que NexaQuant pour compresser les modèles sans perte de précision significative, ce qui leur permet de fonctionner efficacement sur les appareils dotés de ressources limitées.

Le SDK comprend des fonctionnalités telles que :

• Model Hub: Accès à une variété de modèles d’IA pré-entraînés et optimisés.
• Nexa CLI: Une interface de ligne de commande pour tester les modèles et prototyper rapidement à l’aide d’une API locale compatible avec OpenAI.
• Deployment SDK: Outils d’intégration de modèles dans des applications sur différents systèmes d’exploitation tels que Windows, macOS, Linux, Android et iOS.

Principales caractéristiques et avantages

• Compatibilité multiplateforme: Déployez des modèles d’IA sur divers appareils et systèmes d’exploitation.
• Performances optimisées: Obtenez une inférence d’IA plus rapide et plus économe en énergie sur les NPU.
• Compression de modèles: Réduisez la taille des modèles sans sacrifier la précision grâce à la technologie NexaQuant.
• Confidentialité: Exécutez des modèles d’IA sur l’appareil, garantissant ainsi la confidentialité des données utilisateur.
• Facilité d’utilisation: Déployez des modèles en quelques lignes de code.

Modèles d’IA SOTA sur l’appareil

Nexa SDK prend en charge divers modèles d’IA de pointe (SOTA) qui sont optimisés pour l’inférence sur l’appareil. Ces modèles couvrent une gamme d’applications, notamment :

• Large Language Models:
  • Llama3.2-3B-NPU-Turbo
  • Llama3.2-3B-Intel-NPU
  • Llama3.2-1B-Intel-NPU
  • Llama-3.1-8B-Intel-NPU
  • Granite-4-Micro
• Multimodal Models:
  • Qwen3-VL-8B-Thinking
  • Qwen3-VL-8B-Instruct
  • Qwen3-VL-4B-Thinking
  • Qwen3-VL-4B-Instruct
  • Gemma3n-E4B
  • OmniNeural-4B
• Automatic Speech Recognition (ASR):
  • parakeet-v3-ane
  • parakeet-v3-npu
• Text-to-Image Generation:
  • SDXL-turbo
  • SDXL-Base
  • Prefect-illustrious-XL-v2.0p
• Object Detection:
  • YOLOv12‑N
• Other Models:
  • Jina-reranker-v2
  • DeepSeek-R1-Distill-Qwen-7B-Intel-NPU
  • embeddinggemma-300m-npu
  • DeepSeek-R1-Distill-Qwen-1.5B-Intel-NPU
  • phi4-mini-npu-turbo
  • phi3.5-mini-npu
  • Qwen3-4B-Instruct-2507
  • PaddleOCR v4
  • Qwen3-4B-Thinking-2507
  • Jan-v1-4B
  • Qwen3-4B
  • LFM2-1.2B

NexaQuant : Technologie de compression de modèles

NexaQuant est une méthode de compression propriétaire développée par Nexa AI qui permet aux modèles de pointe de s’intégrer dans la RAM mobile/périphérique tout en conservant une précision totale. Cette technologie est essentielle pour déployer de grands modèles d’IA sur des appareils aux ressources limitées, ce qui permet des applications plus légères avec une utilisation de la mémoire moindre.

À qui s’adresse Nexa SDK ?

Nexa SDK est idéal pour :

• Les développeurs d’IA: Qui souhaitent déployer leurs modèles sur un large éventail d’appareils.
• Les développeurs d’applications mobiles: Qui souhaitent intégrer des fonctionnalités d’IA dans leurs applications sans compromettre les performances ou la confidentialité.
• Les ingénieurs automobiles: Qui souhaitent développer des expériences embarquées avancées basées sur l’IA.
• Les fabricants d’appareils IoT: Qui souhaitent activer des fonctionnalités intelligentes sur leurs appareils.

Comment démarrer avec Nexa SDK ?

1. Téléchargez Nexa CLI depuis GitHub.
2. Déployez le SDK et intégrez-le à vos applications sous Windows, macOS, Linux, Android et iOS.
3. Commencez à créer avec les modèles et outils disponibles.

En utilisant Nexa SDK, les développeurs peuvent apporter des fonctionnalités d’IA avancées à un large éventail d’appareils, permettant ainsi de nouvelles applications innovantes. Qu’il s’agisse d’exécuter de grands modèles linguistiques sur un smartphone ou d’activer la détection d’objets en temps réel sur un appareil IoT, Nexa SDK fournit les outils et l’infrastructure pour y parvenir.