Умные очки для обучения роботов

В последние десятилетия роботы появились в таких местах, как торговые центры, аэропорты, больницы, офисы и дома.Чтобы служить помощниками, они должны выполнять такие задачи, как уборка, мыть посуду, приготовление пищи и стирку.Обучение роботов для этих задач с машинным обучением сложно, так как им нужны данные или видео о людях, выполняющих задачи.Чтобы решить это, исследователи из Нью-Йоркского университета и UC Berkeley разработали Egozero, систему, которая собирает видео от первого лица с использованием Project Aria Smart Glasses от Meta.

Egozero использует движение умных очков для создания трехмерных представлений сцены.Он объединяет их с данными ручной позы из модели оценки рук.Система создает набор точек данных о состоянии состояния, которые используются для обучения политики на основе трансформатора, которая помогает роботам изучать задачи.


В отличие от более ранних систем, Egozero не нуждается в нескольких камерах, носимых для запястья или перчатках захвата движения.Только умные очки используются для сбора данных.

Egozero упрощает сбор данных для обучения роботов.С 20 -минутными человеческими демонстрациями система может собирать достаточно данных, чтобы преподавать задачи роботов.Это делает сбор данных быстрее и практичным в естественных условиях.

Удаляя необходимость в телеоперации или демонстрации, специфичных для роботов, Egozero позволяет роботам учиться на поведении человека.Система генерирует обучающие данные без настройки, требуемой предыдущими методами.

Политика на основе трансформаторов, обучаемая Egozero, работает в замкнутом цикле, используя 3D-точки данных, захваченные во время демонстрации.Это помогает роботу понять как окружающую среду, так и действия, необходимые для выполнения задач.

С помощью Egozero исследователи могут эффективно обучать роботов, сокращая время и стоимость.Способность системы передавать человеческие навыки роботам без специфичных для робота данных позволяет быстрее развивать роботов.

По мере того, как становится доступным больше данных, этот подход может привести к роботам, которые обрабатывают задачи в домах, офисах и общественных местах.Упрощая обучение, Egozero может ускорить принятие роботов в качестве помощников.