Dobb·E

Dobb·E：用于家庭机器人操作的开源框架

Dobb·E 是一个创新的开源框架，旨在教机器人如何使用模仿学习来执行家庭任务。该框架允许机器人在大约 20 分钟内学习新任务，使其成为将机器人集成到家庭环境中的快速高效的解决方案。

主要特点：

• 开源： Dobb·E 可免费使用，允许研究人员和开发人员贡献和改进该框架。
• 模仿学习： 该框架使用模仿学习，使机器人能够通过观察和模仿人类行为来学习。
• 快速学习： 机器人可以在大约 20 分钟内学习新的家庭任务。
• 高成功率： Dobb·E 在解决各种家庭任务时，平均成功率达到 81%。

Dobb·E 如何工作？

Dobb·E 使用一个名为 Stick 的简单工具来收集家庭任务的演示。Stick 是一种低成本设备，由取物器、3D 打印部件和一个 iPhone 组成。该工具用于创建 Homes of New York (HoNY) 数据集，其中包含在纽约市 22 个不同家庭中的 13 小时互动。

然后，该框架在 HoNY 数据集上训练一个名为 Home Pretrained Representations (HPR) 的表示学习模型。HPR 是一个使用 MoCo-v3 自监督学习目标训练的 ResNet-34 模型。在部署期间，HPR 初始化一个策略，允许机器人在新的环境中执行新任务。

Dobb·E 的组成部分：

1. Stick： 一种用于收集演示的工具，由一个 25 美元的取物器、3D 打印部件和一个 iPhone 组成。
2. Homes of New York (HoNY)： 一个包含 22 个家庭中 13 小时互动的数据集。
3. Home Pretrained Representations (HPR)： 一个在 HoNY 数据集上预训练的 ResNet-34 模型。

Dobb·E 入门

要开始使用 Dobb·E，您可以通过以下资源访问代码、模型和文档：

• GitHub 仓库： Dobb·E GitHub Repository
• Hugging Face 模型： HPR Model on Hugging Face
• 论文： On Bringing Robots Home (Arxiv)

Dobb·E 适用于谁？

Dobb·E 非常适合：

• 机器人研究人员： 他们正在寻找一种快速高效的框架来教机器人新任务。
• AI 开发人员： 他们有兴趣贡献和改进 Dobb·E 框架。
• 家庭自动化爱好者： 他们希望将机器人集成到他们的家中并自动化家庭任务。

实际应用

Dobb·E 可用于各种家庭任务，包括：

• 打开和关闭抽屉和门
• 拿起和放置物体
• 倾倒液体
• 操作电器

为什么选择 Dobb·E？

• 经济高效： 使用低成本硬件组件。
• 高效： 允许机器人快速学习新任务。
• 多功能： 可用于各种家庭任务。
• 社区驱动： 开源，来自全球研究人员和开发人员的贡献。

Homes of New York (HoNY) 数据集详细信息：

HoNY 数据集包括：

• 22 个家庭
• 216 个环境
• 5620 条轨迹
• 13 小时的互动
• 150 万帧

该数据集包含 30 fps 的 RGB 和深度视频，以及夹具 6D 姿势和夹具打开角度（在 0 到 1 之间归一化）的完整动作注释。

将 HPR 模型与 PyTorch Image Models (TIMM) 结合使用：

您可以通过 TIMM 轻松地使用几行代码开始使用 HPR 模型：

import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)

结论

Dobb·E 代表了家庭机器人领域的一个重大进步，它提供了一个实用、高效且易于访问的框架，用于教机器人执行家庭任务。通过将模仿学习与低成本硬件和全面的数据集相结合，Dobb·E 使将机器人集成到家庭环境和自动化日常家务变得比以往更容易。凭借其开源性质，Dobb·E 鼓励协作和创新，为机器人技术和 AI 的未来发展铺平了道路。什么是 Dobb·E？它是您将机器人带回家的门户。