Исследователи научились генерировать 3D AR контент из 2D изображений

Не так давно Google, Huawei и Facebook профинансировали деятельность UW Reality Lab в Университете Вашингтона. Похоже, что компании уже могут собирать первый урожай разработок.

Результаты исследования были опубликованы ранее в этом месяце в статье под названием «Photo Wake-Up: 3D Character Animation from a Single Photo» («Пробуждение фотографии: трехмерная анимация персонажа с одного фото»). Команда исследователей из Facebook и Университета Вашингтона разработала метод создания анимированных трехмерных моделей в дополненной реальности, используя в качестве исходника только фотографию.

Система подгоняет изменяемую модель тела к изображению и картирует тело персонажа на этой модели. С помощью сопоставленной модели система создает трехмерную сетку и применяет к сетке текстуры, которые соответствуют карте тела. Затем алгоритм интегрирует в изображение скелетную схему для управления движениями фигуры.

Из этой реконструкции создается модель трехмерной фигуры, пригодная для извлечения из фотографии. Исследовательская группа утверждает, что система работает с фотографиями, мультипликационными фигурами и даже абстрактными картинами.

Команда выпустила демонстрационное видео. На нем пользователь HoloLens наблюдает за тем, как фигура из картины Пикассо убегает с холста, спортсмен выскакивает из рекламного постера, а Пол МакКартни выходит из обложки альбома Beatles «Help!»

Команда исследователей состоит из сотрудников Facebook (Айра Кемельмахер-Шлизерман) и ученых из Вашингтонского университета (Брайан Керлесс, Чунг-Йи).

Кемельмахер-Шлизерман присоединилась к Facebook, когда концерн приобрел ее стартап, Dreambit. Ее исследование «Moving Portraits» приобрела компания Google. А исследование Керлесса по трехмерной реконструкции поверхности использовалось при разработке алгоритмов картирования окружающей среды в Microsoft HoloLens и Google Project Tango.

Другие сотрудники UW Reality Lab ранее принимали участие в аналогичном проекте. Тогда исследователи использовали искусственный интеллект для переноса футбольных игр в 3D в дополненной реальности непосредственно к пользователю домой.

Как отмечено в статье, на данном этапе на практике результаты получаются с весьма грубыми контурами и нечеткими краями (что на самом деле весьма неплохо при применении к абстрактному искусству). Такой метод компьютерного зрения очень хорошо согласуется с исследованиями Facebook в сфере AR масок для всего тела, распознавания изображений и других возможностей для платформы Spark AR.

В настоящее время исследовательская группа продемонстрировала AR опыт только с помощью HoloLens. Хотя описание их метода не указывает на необходимость датчиков глубины, вполне возможно, что для переноса технологии на мобильные устройства понадобятся новые смартфоны, оснащенные такими сенсорами.

И хотя технология может не сразу найти применение на платформе Spark AR или в AR проектах Google, в конечном итоге вышеупомянутые компании выиграют от исследований, которые стали возможными благодаря их инвестициям в UW Reality Lab.