Dobb·E 개요
Dobb·E: 가정용 로봇 조작을 위한 오픈 소스 프레임워크
Dobb·E는 모방 학습을 사용하여 로봇에게 가정 작업을 수행하는 방법을 가르치도록 설계된 혁신적인 오픈 소스 프레임워크입니다. 이 프레임워크를 통해 로봇은 약 20분 만에 새로운 작업을 학습할 수 있으므로 로봇을 가정 환경에 통합하기 위한 빠르고 효율적인 솔루션입니다.
주요 기능:
- 오픈 소스: Dobb·E는 무료로 사용할 수 있으며 연구원과 개발자가 프레임워크에 기여하고 개선할 수 있습니다.
- 모방 학습: 이 프레임워크는 모방 학습을 사용하여 로봇이 인간의 행동을 관찰하고 모방하여 학습할 수 있도록 합니다.
- 빠른 학습: 로봇은 약 20분 만에 새로운 가정 작업을 학습할 수 있습니다.
- 높은 성공률: Dobb·E는 다양한 가정 작업 해결에서 평균 81%의 성공률을 달성합니다.
Dobb·E는 어떻게 작동합니까?
Dobb·E는 Stick이라는 간단한 도구를 사용하여 가정 작업 시연을 수집합니다. Stick은 리처-그래버, 3D 프린팅 부품 및 iPhone으로 제작된 저렴한 장치입니다. 이 도구는 뉴욕시의 22개 다른 가정에서 13시간의 상호 작용이 포함된 Homes of New York (HoNY) 데이터 세트를 만드는 데 사용됩니다.
그런 다음 프레임워크는 HoNY 데이터 세트에서 **Home Pretrained Representations (HPR)**이라는 표현 학습 모델을 학습합니다. HPR은 MoCo-v3 자가 지도 학습 목표를 사용하여 학습된 ResNet-34 모델입니다. 배포하는 동안 HPR은 로봇이 새로운 환경에서 새로운 작업을 수행할 수 있도록 하는 정책을 초기화합니다.
Dobb·E의 구성 요소:
- Stick: 25달러짜리 리처-그래버, 3D 프린팅 부품 및 iPhone으로 제작된 시연 수집 도구입니다.
- Homes of New York (HoNY): 22개 가정에서 13시간의 상호 작용이 포함된 데이터 세트입니다.
- Home Pretrained Representations (HPR): HoNY 데이터 세트에서 사전 학습된 ResNet-34 모델입니다.
Dobb·E 시작하기
Dobb·E 사용을 시작하려면 다음 리소스를 통해 코드, 모델 및 문서에 액세스할 수 있습니다.
- GitHub 리포지토리: Dobb·E GitHub Repository
- Hugging Face 모델: HPR Model on Hugging Face
- 논문: On Bringing Robots Home (Arxiv)
Dobb·E는 누구를 위한 것입니까?
Dobb·E는 다음과 같은 사람들에게 이상적입니다.
- 로봇 공학 연구원: 로봇에게 새로운 작업을 가르치는 빠르고 효율적인 프레임워크를 찾고 있는 사람.
- AI 개발자: Dobb·E 프레임워크에 기여하고 개선하는 데 관심이 있는 사람.
- 홈 자동화 애호가: 로봇을 집에 통합하고 가정 작업을 자동화하려는 사람.
실제 응용 프로그램
Dobb·E는 다음을 포함한 광범위한 가정 작업에 사용할 수 있습니다.
- 서랍과 문 열고 닫기
- 물건 들어서 놓기
- 액체 붓기
- 가전 제품 작동
왜 Dobb·E를 선택해야 할까요?
- 비용 효율적: 저렴한 하드웨어 구성 요소를 사용합니다.
- 효율적: 로봇이 새로운 작업을 빠르게 학습할 수 있습니다.
- 다재다능함: 광범위한 가정 작업에 사용할 수 있습니다.
- 커뮤니티 중심: 전 세계 연구원과 개발자의 기여로 오픈 소스입니다.
Homes of New York (HoNY) 데이터 세트 세부 정보:
HoNY 데이터 세트에는 다음이 포함됩니다.
- 22가구
- 216개 환경
- 5620개 궤적
- 13시간의 상호 작용
- 150만 프레임
데이터 세트에는 30fps의 RGB 및 깊이 비디오와 그리퍼의 6D 포즈 및 (0, 1) 사이에서 정규화된 그리퍼의 열림 각도에 대한 전체 작업 주석이 포함되어 있습니다.
PyTorch Image Models (TIMM)으로 HPR 모델 사용:
TIMM을 사용하면 몇 줄의 코드로 HPR 모델 사용을 쉽게 시작할 수 있습니다.
import timm
model = timm.create_model("hf-hub:notmahi/dobb-e", pretrained=True)
결론
Dobb·E는 가정용 로봇 공학 분야에서 중요한 진전을 나타내며 로봇에게 가정 작업을 가르치는 실용적이고 효율적이며 액세스 가능한 프레임워크를 제공합니다. 모방 학습과 저렴한 하드웨어 및 포괄적인 데이터 세트를 결합함으로써 Dobb·E는 로봇을 가정 환경에 통합하고 일상적인 집안일을 자동화하는 것을 그 어느 때보다 쉽게 만듭니다. 오픈 소스 특성으로 인해 Dobb·E는 협업과 혁신을 장려하여 로봇 공학 및 AI의 미래 발전을 위한 길을 열어줍니다. Dobb·E란 무엇입니까? 그것은 당신이 로봇을 집으로 데려오는 관문입니다.
"Dobb·E"의 최고의 대체 도구
Fintool은 SEC 서류, 실적 발표, 재무 데이터에서 즉각적인 답변을 제공하는 AI 주식 연구 부조종사입니다. 투자 전문가가 실적 시즌을 자동화하고 투자 기회를 식별하는 데 도움이 됩니다.
Scale AI는 기업 및 정부에 고품질 교육 데이터와 풀 스택 AI 솔루션을 제공하여 AI 애플리케이션 개발을 가속화합니다. 세계적 수준의 기업들이 신뢰합니다.
Figure는 노동력 및 가정 자동화를 위한 범용 휴머노이드 로봇을 개발하는 AI 로봇 회사입니다. 인간 환경을 위해 설계된 Figure는 노동력 부족을 해결하고 가사 작업을 자동화하는 것을 목표로 합니다.
Edgen은 크립토 및 주식 투자자를 위한 AI 기반 도구를 제공하며, 실시간 거래 알림, 시장 신호, 분석, 포트폴리오 분석으로 트렌드를 파악하고 효율적으로 결정을 내립니다.
AI 기반 언어 앱으로 구어 언어의 세계에 몰입하세요. 여러 언어를 배우고, 실제 생활 시나리오를 연습하며, 문법 수정을 받고, 다양한 목소리 중에서 선택하세요. 오늘 언어 학습 여정을 시작하세요!
Razoroo는 최고의 AI 및 ML 채용 회사로서, 기업이 최고의 인공 지능, 머신러닝 및 데이터 과학 인재와 연결되도록 전문적으로 지원합니다. 최고의 AI 인재로 혁신을 주도하십시오.
Imandra는 AI 시스템에 엄격한 논리적 추론을 제공하여 신뢰할 수 있는 뉴로-심볼릭 AI를 가능하게 하는 Reasoning as a Service 플랫폼입니다. 금융, 정부 및 자율 시스템에 이상적입니다.
FiftyOne은 더 나은 데이터로 AI 성능을 극대화하기 위해 최고의 기업이 신뢰하는 최고의 오픈 소스 시각적 AI 및 컴퓨터 비전 데이터 플랫폼입니다. 데이터 큐레이션, 스마트 주석, 모델 평가.
HaiVE는 음성 통신을 위한 온프레미스 AI 에이전트를 제공하여 데이터 주권, 낮은 대기 시간 및 예측 가능한 비용을 보장합니다. 실제로 티켓과 거래를 성사시키는 AI 에이전트를 배포하십시오.
Sanctuary AI는 제조업 및 물류와 같은 산업의 노동력 부족 문제를 해결하기 위해 Phoenix와 같은 산업 등급 휴머노이드 로봇을 개발합니다. 그들은 손재주, 촉각 피드백 및 AI 기반 자율 작업에 중점을 둡니다.
Atlantix는 스타트업 아이디어를 발견하고, 미국 최고 대학의 6,000개 이상의 기술에 액세스하고, 사업 계획을 수립하고, 투자자와 연결할 수 있는 올인원 플랫폼입니다. 오늘 벤처를 시작하세요!
Visage Technologies는 AI/ML 솔루션을 전문으로 하며 성능, 정확성 및 규정 준수에 최적화된 컨설팅 및 엔지니어링 서비스를 제공합니다. 엣지 AI 및 컴퓨터 비전 전문가입니다.
로봇 공학과 AI 탐색: 로봇, AI 도구, 이벤트, 로봇 공학 및 AI 분야의 직업을 발견하십시오. 최고 수준의 AI 도구로 생산성과 창의성을 높이십시오.
Rerun은 물리적 AI를 위한 오픈 소스 데이터 스택으로, 다중 모드 로그 처리 및 내장된 디버깅 기능을 갖춘 시각화를 제공합니다. 빠르고 유연하며 사용하기 쉽습니다.