Dobb·E

Dobb·E: Uma Estrutura de Código Aberto para Manipulação Robótica Doméstica

Dobb·E é uma estrutura inovadora de código aberto projetada para ensinar robôs a realizar tarefas domésticas usando aprendizado por imitação. Essa estrutura permite que os robôs aprendam novas tarefas em aproximadamente 20 minutos, tornando-a uma solução rápida e eficiente para integrar robôs em ambientes domésticos.

Principais Características:

• Código Aberto: Dobb·E está disponível gratuitamente, permitindo que pesquisadores e desenvolvedores contribuam e aprimorem a estrutura.
• Aprendizado por Imitação: A estrutura usa aprendizado por imitação, permitindo que os robôs aprendam observando e imitando as ações humanas.
• Aprendizado Rápido: Os robôs podem aprender novas tarefas domésticas em cerca de 20 minutos.
• Alta Taxa de Sucesso: Dobb·E atinge uma taxa de sucesso média de 81% na resolução de várias tarefas domésticas.

Como Funciona o Dobb·E?

Dobb·E usa uma ferramenta simples chamada Stick para coletar demonstrações de tarefas domésticas. O Stick é um dispositivo de baixo custo construído a partir de um pegador extensível, peças impressas em 3D e um iPhone. Essa ferramenta é usada para criar o conjunto de dados Homes of New York (HoNY), que contém 13 horas de interações em 22 residências diferentes na cidade de Nova York.

A estrutura então treina um modelo de aprendizado de representação chamado Home Pretrained Representations (HPR) no conjunto de dados HoNY. HPR é um modelo ResNet-34 treinado usando o objetivo de aprendizado auto-supervisionado MoCo-v3. Durante a implantação, o HPR inicializa uma política que permite ao robô realizar novas tarefas em ambientes inéditos.

Componentes do Dobb·E:

1. The Stick: Uma ferramenta para coletar demonstrações, construída a partir de um pegador extensível de $25, peças impressas em 3D e um iPhone.
2. Homes of New York (HoNY): Um conjunto de dados contendo 13 horas de interações em 22 residências.
3. Home Pretrained Representations (HPR): Um modelo ResNet-34 pré-treinado no conjunto de dados HoNY.

Começando com Dobb·E

Para começar a usar o Dobb·E, você pode acessar o código, os modelos e a documentação através dos seguintes recursos:

• GitHub Repo: Dobb·E GitHub Repository
• Hugging Face Model: HPR Model on Hugging Face
• Paper: On Bringing Robots Home (Arxiv)

Para Quem é o Dobb·E?

O Dobb·E é ideal para:

• Pesquisadores de Robótica: Que estão procurando uma estrutura rápida e eficiente para ensinar robôs novas tarefas.
• Desenvolvedores de AI: Que estão interessados em contribuir e aprimorar a estrutura Dobb·E.
• Entusiastas de Automação Residencial: Que desejam integrar robôs em suas casas e automatizar tarefas domésticas.

Aplicações Práticas

Dobb·E pode ser usado para uma ampla gama de tarefas domésticas, incluindo:

• Abrir e fechar gavetas e portas
• Pegar e colocar objetos
• Despejar líquidos
• Operar eletrodomésticos

Por Que Escolher o Dobb·E?

• Econômico: Usa componentes de hardware de baixo custo.
• Eficiente: Permite que os robôs aprendam novas tarefas rapidamente.
• Versátil: Pode ser usado para uma ampla gama de tarefas domésticas.
• Orientado pela Comunidade: Código aberto, com contribuições de pesquisadores e desenvolvedores em todo o mundo.

Detalhes do Conjunto de Dados Homes of New York (HoNY):

O conjunto de dados HoNY inclui:

• 22 residências
• 216 ambientes
• 5620 trajetórias
• 13 horas de interações
• 1,5 milhão de quadros

O conjunto de dados contém vídeos RGB e de profundidade a 30 fps, bem como anotações de ação completas para a pose 6D do gripper e o ângulo de abertura do gripper normalizado entre (0, 1).

Usando o Modelo HPR com PyTorch Image Models (TIMM):

Você pode começar facilmente a usar o modelo HPR em algumas linhas de código com TIMM:

import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)

Conclusão

Dobb·E representa um avanço significativo no campo da robótica doméstica, oferecendo uma estrutura prática, eficiente e acessível para ensinar robôs a realizar tarefas domésticas. Ao combinar o aprendizado por imitação com hardware de baixo custo e um conjunto de dados abrangente, Dobb·E torna mais fácil do que nunca integrar robôs em ambientes domésticos e automatizar tarefas cotidianas. Com sua natureza de código aberto, Dobb·E incentiva a colaboração e a inovação, abrindo caminho para futuros avanços em robótica e AI. O que é Dobb·E? É a sua porta de entrada para trazer robôs para casa.