Умные очки для обучения роботов: запись действий от первого лица

Исследователи из Нью-Йоркского университета и UC Berkeley разработали систему EgoZero, которая позволяет обучать роботов без их непосредственного участия. Вместо этого используются умные очки Project Aria от Meta для записи демонстраций задач от первого лица.

Человек в очках выполняет действия, например, открывает дверцу духовки. Система фиксирует эти движения и преобразует их в 3D-представления. Затем данные используются для обучения алгоритмов, управляющих роботами. Главное преимущество — отсутствие необходимости в калиброванных камерах, носимых датчиках или перчатках для захвата движения.

Результаты тестирования

После 20 минут записей робот Franka Panda успешно выполнял задачи, включая манипуляции с бытовыми предметами. Алгоритм показал способность к обобщению — робот справлялся даже с объектами, которых не было в обучающих данных.

Перспективы

Метод может ускорить сбор данных для обучения роботов, упрощая их внедрение в повседневную жизнь. Код системы уже доступен на GitHub. Следующий шаг — исследование масштабируемости подхода и сравнение эффективности 2D и 3D представлений.

Пока что система тестировалась на ограниченном наборе задач, но потенциал для расширения функциональности очевиден. Особенно если объединить эту технологию с современными языковыми и визуальными моделями.