Исследователи научились генерировать 3D AR контент из 2D изображений

Не так давно Google, Huawei и Facebook профинансировали деятельность UW Reality Lab в Университете Вашингтона. Похоже, что компании уже могут собирать первый урожай разработок.

Результаты исследования были опубликованы ранее в этом месяце в статье под названием «Photo Wake-Up: 3D Character Animation from a Single Photo» («Пробуждение фотографии: трехмерная анимация персонажа с одного фото»). Команда исследователей из Facebook и Университета Вашингтона разработала метод создания анимированных трехмерных моделей в дополненной реальности, используя в качестве исходника только фотографию.

Система подгоняет изменяемую модель тела к изображению и картирует тело персонажа на этой модели. С помощью сопоставленной модели система создает трехмерную сетку и применяет к сетке текстуры, которые соответствуют карте тела. Затем алгоритм интегрирует в изображение скелетную схему для управления движениями фигуры.

Исследователи научились генерировать 3D AR контент из 2D изображений

Из этой реконструкции создается модель трехмерной фигуры, пригодная для извлечения из фотографии. Исследовательская группа утверждает, что система работает с фотографиями, мультипликационными фигурами и даже абстрактными картинами.

Команда выпустила демонстрационное видео. На нем пользователь HoloLens наблюдает за тем, как фигура из картины Пикассо убегает с холста, спортсмен выскакивает из рекламного постера, а Пол МакКартни выходит из обложки альбома Beatles «Help!»

Команда исследователей состоит из сотрудников Facebook (Айра Кемельмахер-Шлизерман) и ученых из Вашингтонского университета (Брайан Керлесс, Чунг-Йи).

Кемельмахер-Шлизерман присоединилась к Facebook, когда концерн приобрел ее стартап, Dreambit. Ее исследование «Moving Portraits» приобрела компания Google. А исследование Керлесса по трехмерной реконструкции поверхности использовалось при разработке алгоритмов картирования окружающей среды в Microsoft HoloLens и Google Project Tango.

Другие сотрудники UW Reality Lab ранее принимали участие в аналогичном проекте. Тогда исследователи использовали искусственный интеллект для переноса футбольных игр в 3D в дополненной реальности непосредственно к пользователю домой.

Как отмечено в статье, на данном этапе на практике результаты получаются с весьма грубыми контурами и нечеткими краями (что на самом деле весьма неплохо при применении к абстрактному искусству). Такой метод компьютерного зрения очень хорошо согласуется с исследованиями Facebook в сфере AR масок для всего тела, распознавания изображений и других возможностей для платформы Spark AR.

Исследователи научились генерировать 3D AR контент из 2D изображений

В настоящее время исследовательская группа продемонстрировала AR опыт только с помощью HoloLens. Хотя описание их метода не указывает на необходимость датчиков глубины, вполне возможно, что для переноса технологии на мобильные устройства понадобятся новые смартфоны, оснащенные такими сенсорами.

И хотя технология может не сразу найти применение на платформе Spark AR или в AR проектах Google, в конечном итоге вышеупомянутые компании выиграют от исследований, которые стали возможными благодаря их инвестициям в UW Reality Lab.

Cкопировано из сайта vr-j.ru Подписывайтесь на наш Telegram Источник https://next.reality.news/news/university-washington-researchers-demo-ability-generate-3d-augmented-reality-content-from-2d-images-0191910/
Newsroom, 29 декабря 2018
Поделитесь с друзьями:
Комментарии
Последние комментарии
Написать комментарий

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *