Nvidia выпускает DreamDojo, «мировую модель» для роботов, обученную на 44 000 часах видео с участием людей.

Nvidia в сотрудничестве с несколькими университетами представила DreamDojo, систему, предназначенную для обучения роботов с использованием огромного количества видеозаписей с участием людей. DreamDojo использует массивный набор данных DreamDojo-HV, состоящий из 44 000 часов разнообразных действий людей. Этот набор данных значительно больше, чем предыдущие наборы данных, используемые для обучения мировых моделей роботов. Система использует двухфазный процесс обучения: изучение общей физики из видео с участием людей, а затем точная настройка для конкретного робототехнического оборудования. Этот подход значительно снижает потребность в дорогостоящем сборе данных, специфичных для роботов, что является основным узким местом в робототехнике. DreamDojo обеспечивает скорость взаимодействия в реальном времени, что позволяет использовать такие приложения, как телеуправление в реальном времени и планирование на ходу. Система продемонстрировала успех на нескольких платформах человекоподобных роботов, демонстрируя свою универсальность в различных средах. Nvidia рассматривает робототехнику как основную область роста, подпитываемую увеличением расходов на инфраструктуру искусственного интеллекта и "уникальной возможностью". Возможности моделирования DreamDojo позволяют проводить обширное тестирование перед физическим развертыванием, повышая адаптивность роботов. Исследование сигнализирует о переходе Nvidia к робототехнике, рассматривая будущее вычислений как физическое, а не только цифровое. DreamDojo воплощает концепцию, согласно которой роботы могут учиться, наблюдая за поведением человека в реальном мире.