Dobb·E

Dobb·E : Un Framework Open Source pour la Manipulation Robotique Domestique

Dobb·E est un framework open source innovant conçu pour enseigner aux robots comment effectuer des tâches ménagères en utilisant l’apprentissage par imitation. Ce framework permet aux robots d’apprendre de nouvelles tâches en environ 20 minutes, ce qui en fait une solution rapide et efficace pour intégrer les robots dans les environnements domestiques.

Principales Caractéristiques :

• Open Source: Dobb·E est disponible gratuitement, ce qui permet aux chercheurs et aux développeurs de contribuer au framework et de l’améliorer.
• Apprentissage par Imitation: Le framework utilise l’apprentissage par imitation, ce qui permet aux robots d’apprendre en observant et en imitant les actions humaines.
• Apprentissage Rapide: Les robots peuvent apprendre de nouvelles tâches ménagères en environ 20 minutes.
• Taux de Réussite Élevé: Dobb·E atteint un taux de réussite moyen de 81 % dans la résolution de diverses tâches ménagères.

Comment Fonctionne Dobb·E ?

Dobb·E utilise un outil simple appelé le Stick pour collecter des démonstrations de tâches ménagères. Le Stick est un appareil à faible coût construit à partir d’un préhenseur, de pièces imprimées en 3D et d’un iPhone. Cet outil est utilisé pour créer l’ensemble de données Homes of New York (HoNY), qui contient 13 heures d’interactions dans 22 foyers différents à New York.

Le framework forme ensuite un modèle d’apprentissage de la représentation appelé Home Pretrained Representations (HPR) sur l’ensemble de données HoNY. HPR est un modèle ResNet-34 entraîné à l’aide de l’objectif d’apprentissage auto-supervisé MoCo-v3. Lors du déploiement, HPR initialise une stratégie qui permet au robot d’effectuer de nouvelles tâches dans de nouveaux environnements.

Composants de Dobb·E :

1. The Stick: Un outil de collecte de démonstrations, construit à partir d’un préhenseur à 25 $, de pièces imprimées en 3D et d’un iPhone.
2. Homes of New York (HoNY): Un ensemble de données contenant 13 heures d’interactions dans 22 foyers.
3. Home Pretrained Representations (HPR): Un modèle ResNet-34 pré-entraîné sur l’ensemble de données HoNY.

Démarrer avec Dobb·E

Pour commencer à utiliser Dobb·E, vous pouvez accéder au code, aux modèles et à la documentation via les ressources suivantes :

• GitHub Repo: Dobb·E GitHub Repository
• Hugging Face Model: HPR Model on Hugging Face
• Paper: On Bringing Robots Home (Arxiv)

À Qui s’Adresse Dobb·E ?

Dobb·E est idéal pour :

• Les Chercheurs en Robotique: Qui recherchent un framework rapide et efficace pour enseigner de nouvelles tâches aux robots.
• Les Développeurs d’AI: Qui souhaitent contribuer au framework Dobb·E et l’améliorer.
• Les Passionnés de Domotique: Qui souhaitent intégrer des robots dans leur maison et automatiser les tâches ménagères.

Applications Pratiques

Dobb·E peut être utilisé pour un large éventail de tâches ménagères, notamment :

• Ouvrir et fermer les tiroirs et les portes
• Ramasser et placer des objets
• Verser des liquides
• Faire fonctionner les appareils

Pourquoi Choisir Dobb·E ?

• Rentable: Utilise des composants matériels à faible coût.
• Efficace: Permet aux robots d’apprendre rapidement de nouvelles tâches.
• Polyvalent: Peut être utilisé pour un large éventail de tâches ménagères.
• Axé sur la Communauté: Open source, avec des contributions de chercheurs et de développeurs du monde entier.

Détails de l’Ensemble de Données Homes of New York (HoNY) :

L’ensemble de données HoNY comprend :

• 22 foyers
• 216 environnements
• 5 620 trajectoires
• 13 heures d’interactions
• 1,5 million d’images

L’ensemble de données contient des vidéos RVB et de profondeur à 30 ips, ainsi que des annotations d’actions complètes pour la pose 6D de la pince et l’angle d’ouverture de la pince normalisé entre (0, 1).

Utilisation du Modèle HPR avec PyTorch Image Models (TIMM) :

Vous pouvez facilement commencer à utiliser le modèle HPR en quelques lignes de code avec TIMM :

import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)

Conclusion

Dobb·E représente une avancée significative dans le domaine de la robotique domestique, offrant un framework pratique, efficace et accessible pour enseigner aux robots les tâches ménagères. En combinant l’apprentissage par imitation avec du matériel à faible coût et un ensemble de données complet, Dobb·E facilite plus que jamais l’intégration des robots dans les environnements domestiques et l’automatisation des tâches quotidiennes. Grâce à sa nature open source, Dobb·E encourage la collaboration et l’innovation, ouvrant la voie à de futures avancées dans la robotique et l’AI. Qu’est-ce que Dobb·E ? C’est votre passerelle pour ramener les robots à la maison.