Dobb·E
Übersicht von Dobb·E
Dobb·E: Ein Open-Source-Framework für die Haushaltsroboter-Manipulation
Dobb·E ist ein innovatives Open-Source-Framework, das entwickelt wurde, um Robotern beizubringen, wie man Haushaltsaufgaben durch Imitationslernen ausführt. Dieses Framework ermöglicht es Robotern, neue Aufgaben in etwa 20 Minuten zu erlernen, was es zu einer schnellen und effizienten Lösung für die Integration von Robotern in häusliche Umgebungen macht.
Hauptmerkmale:
- Open-Source: Dobb·E ist frei verfügbar, so dass Forscher und Entwickler zum Framework beitragen und es verbessern können.
- Imitationslernen: Das Framework verwendet Imitationslernen, wodurch Roboter durch Beobachten und Nachahmen menschlicher Handlungen lernen können.
- Schnelles Lernen: Roboter können neue Haushaltsaufgaben in etwa 20 Minuten erlernen.
- Hohe Erfolgsquote: Dobb·E erreicht eine durchschnittliche Erfolgsquote von 81 % bei der Lösung verschiedener Haushaltsaufgaben.
Wie funktioniert Dobb·E?
Dobb·E verwendet ein einfaches Werkzeug namens Stick, um Demonstrationen von Haushaltsaufgaben zu sammeln. Der Stick ist ein kostengünstiges Gerät, das aus einem Greifer, 3D-gedruckten Teilen und einem iPhone besteht. Dieses Tool wird verwendet, um den Homes of New York (HoNY)-Datensatz zu erstellen, der 13 Stunden Interaktionen in 22 verschiedenen Wohnungen in New York City enthält.
Das Framework trainiert dann ein Repräsentationslernmodell namens Home Pretrained Representations (HPR) auf dem HoNY-Datensatz. HPR ist ein ResNet-34-Modell, das mit dem MoCo-v3 Self-Supervised Learning Objective trainiert wurde. Während des Einsatzes initialisiert HPR eine Richtlinie, die es dem Roboter ermöglicht, neue Aufgaben in neuen Umgebungen auszuführen.
Komponenten von Dobb·E:
- Der Stick: Ein Werkzeug zum Sammeln von Demonstrationen, bestehend aus einem 25-Dollar-Greifer, 3D-gedruckten Teilen und einem iPhone.
- Homes of New York (HoNY): Ein Datensatz, der 13 Stunden Interaktionen in 22 verschiedenen Wohnungen enthält.
- Home Pretrained Representations (HPR): Ein ResNet-34-Modell, das auf dem HoNY-Datensatz vortrainiert wurde.
Erste Schritte mit Dobb·E
Um mit der Verwendung von Dobb·E zu beginnen, können Sie über die folgenden Ressourcen auf den Code, die Modelle und die Dokumentation zugreifen:
- GitHub Repo: Dobb·E GitHub Repository
- Hugging Face Model: HPR Model on Hugging Face
- Paper: On Bringing Robots Home (Arxiv)
Für wen ist Dobb·E geeignet?
Dobb·E ist ideal für:
- Robotik-Forscher: Die ein schnelles und effizientes Framework suchen, um Robotern neue Aufgaben beizubringen.
- KI-Entwickler: Die daran interessiert sind, zum Dobb·E-Framework beizutragen und es zu verbessern.
- Heimautomatisierungs-Enthusiasten: Die Roboter in ihre Häuser integrieren und Haushaltsaufgaben automatisieren wollen.
Praktische Anwendungen
Dobb·E kann für eine Vielzahl von Haushaltsaufgaben verwendet werden, darunter:
- Öffnen und Schließen von Schubladen und Türen
- Aufheben und Platzieren von Objekten
- Eingießen von Flüssigkeiten
- Bedienen von Geräten
Warum Dobb·E wählen?
- Kostengünstig: Verwendet kostengünstige Hardwarekomponenten.
- Effizient: Ermöglicht es Robotern, neue Aufgaben schnell zu erlernen.
- Vielseitig: Kann für eine Vielzahl von Haushaltsaufgaben verwendet werden.
- Community-gesteuert: Open-Source, mit Beiträgen von Forschern und Entwicklern weltweit.
Homes of New York (HoNY) Datensatzdetails:
Der HoNY-Datensatz enthält:
- 22 Wohnungen
- 216 Umgebungen
- 5620 Trajektorien
- 13 Stunden Interaktionen
- 1,5 Millionen Frames
Der Datensatz enthält RGB- und Tiefenvideos mit 30 fps sowie vollständige Aktionsanmerkungen für die 6D-Pose des Greifers und den Öffnungswinkel des Greifers, der zwischen (0, 1) normalisiert ist.
Verwendung des HPR-Modells mit PyTorch Image Models (TIMM):
Sie können das HPR-Modell mit TIMM einfach in ein paar Codezeilen verwenden:
import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)
Schlussfolgerung
Dobb·E stellt einen bedeutenden Fortschritt im Bereich der Heimrobotik dar und bietet ein praktisches, effizientes und zugängliches Framework, um Robotern Haushaltsaufgaben beizubringen. Durch die Kombination von Imitationslernen mit kostengünstiger Hardware und einem umfassenden Datensatz macht es Dobb·E einfacher denn je, Roboter in häusliche Umgebungen zu integrieren und alltägliche Aufgaben zu automatisieren. Mit seinem Open-Source-Charakter fördert Dobb·E die Zusammenarbeit und Innovation und ebnet den Weg für zukünftige Fortschritte in der Robotik und KI. Was ist Dobb·E? Es ist Ihr Tor, um Roboter nach Hause zu bringen.