Nvidia, 44,000시간 분량의 인간 비디오로 훈련된 로봇 '월드 모델' DreamDojo 공개

Nvidia는 여러 대학과 협력하여 방대한 양의 인간 비디오를 사용하여 로봇을 훈련하도록 설계된 시스템인 DreamDojo를 공개했습니다. DreamDojo는 44,000시간의 다양한 인간 행동으로 구성된 대규모 데이터 세트인 DreamDojo-HV를 활용합니다. 이 데이터 세트는 로봇 세계 모델 훈련에 사용된 이전 데이터 세트보다 훨씬 큽니다. 이 시스템은 두 단계의 훈련 과정을 사용합니다. 즉, 인간 비디오에서 일반적인 물리학을 학습한 다음 특정 로봇 하드웨어에 맞게 미세 조정합니다. 이 접근 방식은 로봇 공학의 주요 병목 현상인 고가의 로봇 특정 데이터 수집의 필요성을 크게 줄여줍니다. DreamDojo는 실시간 상호 작용 속도를 달성하여 실시간 원격 조작 및 즉석 계획과 같은 응용 프로그램을 가능하게 합니다. 이 시스템은 여러 휴머노이드 로봇 플랫폼에서 성공을 거두었으며 다양한 환경에서 다재다능함을 보여주었습니다. Nvidia는 증가하는 AI 인프라 지출과 "일생에 한 번"의 기회에 힘입어 로봇 공학을 주요 성장 분야로 보고 있습니다. DreamDojo의 시뮬레이션 기능은 실제 배포 전에 광범위한 테스트를 가능하게 하여 로봇의 적응성을 향상시킵니다. 이 연구는 Nvidia가 로봇 공학으로 전환하여 컴퓨팅의 미래를 순전히 디지털이 아닌 물리적인 것으로 보고 있음을 시사합니다. DreamDojo는 로봇이 실제 세계에서 인간의 행동을 관찰함으로써 학습할 수 있다는 개념을 구현합니다.