Dobb·E
Descripción general de Dobb·E
Dobb·E: Un Framework de Código Abierto para la Manipulación Robótica Doméstica
Dobb·E es un innovador framework de código abierto diseñado para enseñar a los robots a realizar tareas domésticas utilizando el aprendizaje por imitación. Este framework permite a los robots aprender nuevas tareas en aproximadamente 20 minutos, lo que lo convierte en una solución rápida y eficiente para integrar robots en entornos domésticos.
Características Clave:
- Código Abierto: Dobb·E está disponible gratuitamente, lo que permite a investigadores y desarrolladores contribuir y mejorar el framework.
- Aprendizaje por Imitación: El framework utiliza el aprendizaje por imitación, lo que permite a los robots aprender observando e imitando las acciones humanas.
- Aprendizaje Rápido: Los robots pueden aprender nuevas tareas domésticas en unos 20 minutos.
- Alta Tasa de Éxito: Dobb·E alcanza una tasa de éxito promedio del 81% en la resolución de diversas tareas domésticas.
¿Cómo Funciona Dobb·E?
Dobb·E utiliza una herramienta sencilla llamada Stick para recopilar demostraciones de tareas domésticas. El Stick es un dispositivo de bajo costo construido a partir de un alcanzador-agarre, piezas impresas en 3D y un iPhone. Esta herramienta se utiliza para crear el conjunto de datos Homes of New York (HoNY), que contiene 13 horas de interacciones en 22 hogares diferentes en la ciudad de Nueva York.
El framework luego entrena un modelo de aprendizaje de representación llamado Home Pretrained Representations (HPR) en el conjunto de datos HoNY. HPR es un modelo ResNet-34 entrenado utilizando el objetivo de aprendizaje auto-supervisado MoCo-v3. Durante la implementación, HPR inicializa una política que permite al robot realizar nuevas tareas en entornos novedosos.
Componentes de Dobb·E:
- The Stick: Una herramienta para recopilar demostraciones, construida a partir de un alcanzador-agarre de $25, piezas impresas en 3D y un iPhone.
- Homes of New York (HoNY): Un conjunto de datos que contiene 13 horas de interacciones en 22 hogares.
- Home Pretrained Representations (HPR): Un modelo ResNet-34 pre-entrenado en el conjunto de datos HoNY.
Empezando con Dobb·E
Para empezar a usar Dobb·E, puedes acceder al código, los modelos y la documentación a través de los siguientes recursos:
- GitHub Repo: Dobb·E GitHub Repository
- Hugging Face Model: HPR Model on Hugging Face
- Paper: On Bringing Robots Home (Arxiv)
¿Para Quién es Dobb·E?
Dobb·E es ideal para:
- Investigadores de Robótica: Que buscan un framework rápido y eficiente para enseñar a los robots nuevas tareas.
- Desarrolladores de AI: Que están interesados en contribuir y mejorar el framework Dobb·E.
- Entusiastas de la Automatización del Hogar: Que desean integrar robots en sus hogares y automatizar las tareas domésticas.
Aplicaciones Prácticas
Dobb·E se puede utilizar para una amplia gama de tareas domésticas, incluyendo:
- Abrir y cerrar cajones y puertas
- Recoger y colocar objetos
- Verter líquidos
- Operar electrodomésticos
¿Por Qué Elegir Dobb·E?
- Rentable: Utiliza componentes de hardware de bajo costo.
- Eficiente: Permite a los robots aprender nuevas tareas rápidamente.
- Versátil: Se puede utilizar para una amplia gama de tareas domésticas.
- Impulsado por la Comunidad: De código abierto, con contribuciones de investigadores y desarrolladores de todo el mundo.
Detalles del Conjunto de Datos Homes of New York (HoNY):
El conjunto de datos HoNY incluye:
- 22 hogares
- 216 entornos
- 5620 trayectorias
- 13 horas de interacciones
- 1.5 millones de fotogramas
El conjunto de datos contiene videos RGB y de profundidad a 30 fps, así como anotaciones completas de acciones para la pose 6D del gripper y el ángulo de apertura del gripper normalizado entre (0, 1).
Usando el Modelo HPR con PyTorch Image Models (TIMM):
Puedes empezar a usar fácilmente el modelo HPR en un par de líneas de código con TIMM:
import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)
Conclusión
Dobb·E representa un importante paso adelante en el campo de la robótica doméstica, ofreciendo un framework práctico, eficiente y accesible para enseñar a los robots tareas domésticas. Al combinar el aprendizaje por imitación con hardware de bajo costo y un conjunto de datos completo, Dobb·E hace que sea más fácil que nunca integrar robots en entornos domésticos y automatizar las tareas cotidianas. Con su naturaleza de código abierto, Dobb·E fomenta la colaboración y la innovación, allanando el camino para futuros avances en robótica e AI. ¿Qué es Dobb·E? Es tu puerta de entrada para traer robots a casa.
Mejores herramientas alternativas a "Dobb·E"
Intelgic automatiza los procesos industriales con sistemas de visión impulsados por IA, especializándose en sistemas AOI personalizados que integran visión artificial, óptica industrial, robótica de precisión y software de IA para una fabricación sin defectos.
Roboto es el motor de análisis para la robótica y la IA física. Busca, transforma y analiza datos multimodales a escala para obtener información más rápida.
Rosie AI es un servicio de contestación impulsado por IA para empresas, que brinda soporte telefónico 24 horas al día, 7 días a la semana a partir de $49/mes. Capacitada en tu negocio, Rosie responde llamadas, responde preguntas, programa citas y te envía los detalles.
Ascento proporciona soluciones de seguridad impulsadas por robótica e IA para la protección de activos al aire libre. Los robots autónomos detectan amenazas, verifican la integridad y reducen los costos con soporte 24 horas al día, 7 días a la semana.
Cyber Square ofrece educación en codificación, IA y robótica para escuelas, proporcionando herramientas y currículo para capacitar a los estudiantes en ciencias de la computación y alfabetización digital.
Figure es una empresa de robótica de IA que desarrolla robots humanoides de propósito general para la automatización de la fuerza laboral y el hogar. Diseñado para entornos humanos, Figure tiene como objetivo resolver la escasez de mano de obra y automatizar las tareas domésticas.
Berkshire Grey ofrece robótica empresarial habilitada por IA para automatizar tareas de almacén como recolección, clasificación y reposición, aumentando la productividad en más del 33% y reduciendo costos en un 40% para retail y eCommerce.
ElliQ es un robot compañero con IA diseñado para apoyar a adultos mayores mediante interacciones empáticas, participación proactiva y asistencia personalizada para actividades diarias y conexión social.
AI4BD ofrece soluciones de robótica cognitiva empresarial impulsadas por IA para la automatización empresarial, el procesamiento de documentos, el mantenimiento inteligente y la gestión de datos maestros. Automatice las tareas rutinarias y mejore la eficiencia.
Sanctuary AI desarrolla robots humanoides de grado industrial, como Phoenix, para abordar la escasez de mano de obra en industrias como la manufactura y la logística. Se centran en la destreza, la retroalimentación táctil y el trabajo autónomo impulsado por la IA.
Lucky Robots genera datos sintéticos infinitos para el entrenamiento de modelos de IA robótica. Entrena más rápido y barato con simulaciones realistas. Itera, entrena y prueba antes de la implementación en el mundo real.
Convierte texto en sonido con calidad de audiolibro con AudiowaveAI. Escucha artículos, publicaciones de blog y más sobre la marcha. Disfruta aprendiendo en cualquier lugar y en cualquier momento.
Explora robótica e IA: descubre robots, herramientas de IA, eventos y trabajos en robótica e IA. Aumenta la productividad y la creatividad con herramientas de IA de primer nivel.
Covariant Brain es una plataforma de robótica de IA que impulsa la automatización de almacenes con RFM-1, lo que permite a los robots recoger prácticamente cualquier artículo desde el primer día y adaptarse a las necesidades cambiantes del negocio.