Новое исследование Meta* в области искусственного интеллекта может улучшить возможности Quest 3*

Машинное понимание взаимодействия руки с предметом по-прежнему остается проблемой из-за окклюзии рук и сложного способа движения. Исследователи из Meta* Reality Labs опубликовали набор данных под названием HOT3D (аббревиатура от «Отслеживание рук и объектов»). Он призван помочь в разработке системы, которая лучше понимает взаимодействие рук и предметов и, таким образом, открывает новые возможности применения.

«Например, такая система позволит передавать ручные навыки между пользователями, сначала фиксируя пользователей, выполняющих последовательность взаимодействий рук с предметами (при сборке предмета мебели, подаче в теннис и т. д.), а затем используя полученную информацию, например, через очки AR. Навыки могут быть аналогичным образом переданы от людей роботам, что позволит создать автономных роботов, способных обучаться быстро. Система также может помочь ИИ-помощнику лучше понимать контекст действий пользователя или предоставить новые возможности ввода для пользователей AR/VR, например, превратив любую физическую поверхность в виртуальную клавиатуру».

Набор данных содержит более 800 минут видеозаписей, демонстрирующих взаимодействие с 33 повседневными объектами. Помимо простых сценариев, в которых объекты берут, рассматривают и кладут, набор также включает типичные действия на кухне, в офисе и гостиной.

Для захвата видеоданных использовались два устройства Meta*: исследовательские очки Project Aria* и гарнитура Quest 3*. Поскольку Meta* использует эти устройства, набор данных, вероятно, будет использоваться в первую очередь для обучения систем на базе искусственного интеллекта для существующих и будущих очков и гарнитур компании.

*Meta признана экстремистской компанией на территории России