Facebook обучает ИИ ориентироваться в VR/AR цифровых помещениях

Разработчики из исследовательского отдела Facebook разрабатывают визуально реалистичные цифровые дома и офисы. Они помогают искусственному интеллекту быстро и эффективно ориентироваться в реальном мире. Это также должно принести пользу и отрасли VR/AR.

Пакет данных Facebook для тренировки искусственного интеллекта под названием «Replica» содержит в общей сложности 18 реалистично отображенных образцов квартир и офисов. На днях компания бесплатно выложила его на Github.

Разработка этого набора данных является частью ИИ программы «Habitat», которую компания представила в марте. Ее цель состоит в том, чтобы ИИ совершил прыжок из Интернета в реальный мир.

https://www.facebook.com/TechAtFacebook/videos/2039540316350862/

Исследователь Facebook Джулиан Штрауб обещает в Replica «новый стандарт реалистичных трехмерных реконструкций реальных локаций». Разработчики принимали во внимание такие детали, как сложные отражения или текстура ковра.

Благодаря симулируемым квартирам искусственный интеллект должен научиться двигаться в реальности, справляться с заданиями или встраивать цифровые объекты точно в окружающую среду. Пример задания для ИИ: проверить наличие ноутбука на столе. Для этого ИИ должен уметь распознавать стол и ноутбук (как объект) и пространственно определять его местоположение.

Преимущество по сравнению с реальными тренировками заключается в том, что компьютерная симуляция может выполняться в быстром темпе. Если быть точным, до 10000 кадров в секунду.

Обучение, которое в действительности занимало бы месяцы и годы, в виртуальной реальности занимает всего дни или недели. Кроме того, исчезает вероятность несчастных случаев. Хотя стоит отметить, что статичные 3D-модели далеки от полного воспроизведения сложности реального мира. Реплики были созданы с помощью запатентованной системы камер, которая содержит 3D-сканер.

Исследования ИИ пригодятся AR/VR приложениям

По словам ученых из Facebook, исследования искусственного интеллекта также помогают при разработке социального присутствия в AR или VR гарнитурах. Цель состоит в том, чтобы, например, цифровая версия друга реалистично разместилась рядом с пользователем на диване. Или наоборот, чтобы поместить пользователей в цифровое пространство, которое выглядит максимально реальным.

https://www.facebook.com/TechAtFacebook/videos/459546424812742/?t=3

Для этого система ИИ должна научиться тому, как естественным и реалистичным образом взаимодействовать с окружающей средой. Как считают разработчики, эти технологии позволят раскрыть потенциал AR очков.

Конечно, исследователи не знают, когда это произойдет, пользуясь расплывчатой формулировкой «однажды». По их заявлениям необходимо совершить еще «множество технических прорывов».

Далее, в дополнение к визуальному компоненту, в симулятор обучения ИИ будет интегрирован также и физический компонент. Таким образом, робот может узнать, что произойдет, если он уронит бокал на журнальный столик, который затем приземлится на дорогой ковер. Отсутствует только человеческий компонент, который сможет отключить его в качестве наказания.