Dobb·E
Descripción general de Dobb·E
Dobb·E: Un Framework de Código Abierto para la Manipulación Robótica Doméstica
Dobb·E es un innovador framework de código abierto diseñado para enseñar a los robots a realizar tareas domésticas utilizando el aprendizaje por imitación. Este framework permite a los robots aprender nuevas tareas en aproximadamente 20 minutos, lo que lo convierte en una solución rápida y eficiente para integrar robots en entornos domésticos.
Características Clave:
- Código Abierto: Dobb·E está disponible gratuitamente, lo que permite a investigadores y desarrolladores contribuir y mejorar el framework.
- Aprendizaje por Imitación: El framework utiliza el aprendizaje por imitación, lo que permite a los robots aprender observando e imitando las acciones humanas.
- Aprendizaje Rápido: Los robots pueden aprender nuevas tareas domésticas en unos 20 minutos.
- Alta Tasa de Éxito: Dobb·E alcanza una tasa de éxito promedio del 81% en la resolución de diversas tareas domésticas.
¿Cómo Funciona Dobb·E?
Dobb·E utiliza una herramienta sencilla llamada Stick para recopilar demostraciones de tareas domésticas. El Stick es un dispositivo de bajo costo construido a partir de un alcanzador-agarre, piezas impresas en 3D y un iPhone. Esta herramienta se utiliza para crear el conjunto de datos Homes of New York (HoNY), que contiene 13 horas de interacciones en 22 hogares diferentes en la ciudad de Nueva York.
El framework luego entrena un modelo de aprendizaje de representación llamado Home Pretrained Representations (HPR) en el conjunto de datos HoNY. HPR es un modelo ResNet-34 entrenado utilizando el objetivo de aprendizaje auto-supervisado MoCo-v3. Durante la implementación, HPR inicializa una política que permite al robot realizar nuevas tareas en entornos novedosos.
Componentes de Dobb·E:
- The Stick: Una herramienta para recopilar demostraciones, construida a partir de un alcanzador-agarre de $25, piezas impresas en 3D y un iPhone.
- Homes of New York (HoNY): Un conjunto de datos que contiene 13 horas de interacciones en 22 hogares.
- Home Pretrained Representations (HPR): Un modelo ResNet-34 pre-entrenado en el conjunto de datos HoNY.
Empezando con Dobb·E
Para empezar a usar Dobb·E, puedes acceder al código, los modelos y la documentación a través de los siguientes recursos:
- GitHub Repo: Dobb·E GitHub Repository
- Hugging Face Model: HPR Model on Hugging Face
- Paper: On Bringing Robots Home (Arxiv)
¿Para Quién es Dobb·E?
Dobb·E es ideal para:
- Investigadores de Robótica: Que buscan un framework rápido y eficiente para enseñar a los robots nuevas tareas.
- Desarrolladores de AI: Que están interesados en contribuir y mejorar el framework Dobb·E.
- Entusiastas de la Automatización del Hogar: Que desean integrar robots en sus hogares y automatizar las tareas domésticas.
Aplicaciones Prácticas
Dobb·E se puede utilizar para una amplia gama de tareas domésticas, incluyendo:
- Abrir y cerrar cajones y puertas
- Recoger y colocar objetos
- Verter líquidos
- Operar electrodomésticos
¿Por Qué Elegir Dobb·E?
- Rentable: Utiliza componentes de hardware de bajo costo.
- Eficiente: Permite a los robots aprender nuevas tareas rápidamente.
- Versátil: Se puede utilizar para una amplia gama de tareas domésticas.
- Impulsado por la Comunidad: De código abierto, con contribuciones de investigadores y desarrolladores de todo el mundo.
Detalles del Conjunto de Datos Homes of New York (HoNY):
El conjunto de datos HoNY incluye:
- 22 hogares
- 216 entornos
- 5620 trayectorias
- 13 horas de interacciones
- 1.5 millones de fotogramas
El conjunto de datos contiene videos RGB y de profundidad a 30 fps, así como anotaciones completas de acciones para la pose 6D del gripper y el ángulo de apertura del gripper normalizado entre (0, 1).
Usando el Modelo HPR con PyTorch Image Models (TIMM):
Puedes empezar a usar fácilmente el modelo HPR en un par de líneas de código con TIMM:
import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)
Conclusión
Dobb·E representa un importante paso adelante en el campo de la robótica doméstica, ofreciendo un framework práctico, eficiente y accesible para enseñar a los robots tareas domésticas. Al combinar el aprendizaje por imitación con hardware de bajo costo y un conjunto de datos completo, Dobb·E hace que sea más fácil que nunca integrar robots en entornos domésticos y automatizar las tareas cotidianas. Con su naturaleza de código abierto, Dobb·E fomenta la colaboración y la innovación, allanando el camino para futuros avances en robótica e AI. ¿Qué es Dobb·E? Es tu puerta de entrada para traer robots a casa.
Mejores herramientas alternativas a "Dobb·E"
Convierte texto en sonido con calidad de audiolibro con AudiowaveAI. Escucha artículos, publicaciones de blog y más sobre la marcha. Disfruta aprendiendo en cualquier lugar y en cualquier momento.
Figure es una empresa de robótica de IA que desarrolla robots humanoides de propósito general para la automatización de la fuerza laboral y el hogar. Diseñado para entornos humanos, Figure tiene como objetivo resolver la escasez de mano de obra y automatizar las tareas domésticas.
ElliQ es un robot compañero con IA diseñado para apoyar a adultos mayores mediante interacciones empáticas, participación proactiva y asistencia personalizada para actividades diarias y conexión social.
AI4BD ofrece soluciones de robótica cognitiva empresarial impulsadas por IA para la automatización empresarial, el procesamiento de documentos, el mantenimiento inteligente y la gestión de datos maestros. Automatice las tareas rutinarias y mejore la eficiencia.
Explora robótica e IA: descubre robots, herramientas de IA, eventos y trabajos en robótica e IA. Aumenta la productividad y la creatividad con herramientas de IA de primer nivel.
Berkshire Grey ofrece robótica empresarial habilitada por IA para automatizar tareas de almacén como recolección, clasificación y reposición, aumentando la productividad en más del 33% y reduciendo costos en un 40% para retail y eCommerce.
Covariant Brain es una plataforma de robótica de IA que impulsa la automatización de almacenes con RFM-1, lo que permite a los robots recoger prácticamente cualquier artículo desde el primer día y adaptarse a las necesidades cambiantes del negocio.
Ascento proporciona soluciones de robótica e IA para proteger activos al aire libre, ofreciendo robots autónomos con sensores avanzados y análisis impulsados por IA para mejorar la seguridad y el ahorro de costos.
Roboto es un motor de análisis diseñado para la robótica y la IA física, que permite a los equipos buscar, transformar y analizar de manera eficiente datos multimodales de robots a escala, identificar anomalías y automatizar el análisis.
Lucky Robots genera datos sintéticos infinitos para el entrenamiento de modelos de IA robótica. Entrena más rápido y barato con simulaciones realistas. Itera, entrena y prueba antes de la implementación en el mundo real.
Cyber Square ofrece educación en codificación, IA y robótica para escuelas, proporcionando herramientas y currículo para capacitar a los estudiantes en ciencias de la computación y alfabetización digital.
Intelgic automatiza los procesos industriales con sistemas de visión impulsados por IA, especializándose en sistemas AOI personalizados que integran visión artificial, óptica industrial, robótica de precisión y software de IA para una fabricación sin defectos.
NVIDIA es un líder mundial en computación de IA, impulsando avances en todas las industrias con sus GPU y plataformas de IA. Explore soluciones de IA para centros de datos, automoción, robótica y más.
Move AI proporciona soluciones de captura de movimiento impulsadas por IA, lo que permite una animación de personajes sin esfuerzo y una captura de movimiento de alta precisión desde video. Con la confianza de empresas de entretenimiento, ciencias de la vida y robótica.