Поговорим о недоработках AR

Apple и Google создали настоящую шумиху вокруг технологии дополненной реальности. Теперь AR находятся в руках десятков миллионов разработчиков и пользователей. Но стоит признать, что технология несовершена и нам понадобится еще какое-то время для полноценного и незабываемого AR. В этой статье хотелось бы рассмотреть основные нюансы, которые нужно решить.

Погружение в поле зрения.
Интересно смотреть видео с крутыми видеороликами ARKit и воображать, что просмотр в полноэкранном режиме займет все ваше поле обзора. Реальность такова, что даже самые лучшие портативные гарнитуры по-прежнему имеют очень ограниченное поле зрения. HoloLens, считается лучшей AR гарнитурой, но и она имеет крошечное диагональное поле зрения на 34 градуса, что намного меньше, чем у Google Cardboard (диагональ 60 градусов). Смотрим ниже обзор полного и 34-градусного поля зрения.

Поле зрения — важный элемент и для того, чтобы достичь разумного уровня погружения, дополненный мир должен плавно сочетаться с реальным. Не имея возможности увидеть основную часть мира дополненной реальности сразу, вы чувствуете себя «неестественно». Нельзя сказать, что гарнитура AR с 34-градусным полем зрения бесполезна, просто она не захватывает и поэтому не затрагивает ваше естественное восприятие, а это не подходит для интуитивного взаимодействия человека и компьютера. Итак, у нас же еще есть гарнитура Meta 2 AR и ее 90-градусное поле зрения.

Да, Meta 2 имеет самую широкую область обзора для AR, но она очень громоздкая, а значит недобрая в использовании.

Оптика Meta 2 на самом деле довольно проста. Большая часть гарнитуры содержит «смартфон», который стоит перед вами. Большой пластиковый козырек частично отражает то, что находится на дисплее в глазах пользователя. Сокращение гарнитуры означает сокращение как дисплея, так и козырька, что, естественно, приведет к уменьшению поля обзора. Meta 2 подойдет разработчикам, которые готовы смириться с громоздкой (и все еще привязанной) гарнитурой.

Есть еще очки ODG, которые работают с подобной, но древней оптической системой, и имеет максимально поле зрения в 50 градусов. Цена — 1800 долларов. И они все еще только едва приближаются к приемлемому размеру для потребителя.

Также, AR технологиями занимается команда Lumus. Используя другой оптический подход (волновод), Lumus сумел сжать поле зрения 55 градусов из оптики толщиной 2 мм. Поле зрения 50 градусов не плохо, но оно все еще далеко от сегодняшних VR гарнитур, которые имеют около 110 градусов, и даже в этом случае потребители все еще требуют большего. Трудно определить цифру для действительно захватывающего взаимодействия, однако Окулус в прошлом утверждал, что нужно по крайней мере 90 градусов, чтобы испытать истинное удовольствие о взаимодействия.

Классификация объектов в режиме реального времени.

ARKit от Apple и технология ARCore от Google позволят вам делать интересные штуки на вашем смартфоне, но в большинстве случаев эти системы ограничены пониманием плоских поверхностей, таких как полы и стены. Именно поэтому 99% приложений дополненной реальности и демонстраций проходят на полу или на столе. Почему полы и стены? Потому что их легко классифицировать. Плоскость пола или стены идентичны плоскости другого, и можно предположить, что они пересекутся с другой плоскостью. Отметим, что системы могут «видеть» формы объектов,но не могут в настоящее время понять их. Возьмите чашку, например. Когда вы смотрите на чашку, вы видите гораздо больше, чем просто форму. Вы уже много знаете о чашке. Сколько? Давайте рассмотрим:

Вы знаете, что чаша — это объект, который отличается от поверхности, на которой он находится.
Вы знаете, что часть этой чашки содержит твердый открытый объем, который может использоваться для хранения жидкостей и других объектов.
Вы знаете, что открытый объем внутри чашки не выходит за пределы поверхности, на которой он находится.
Вы знаете, что люди пьют из чашек.
Вы знаете, что чашка легкая и ее можно легко разбить, в результате чего содержимое разольется.

Можно продолжать еще долго… Дело в том, что компьютер не знает об этом. Он просто видит форму, а не чашку. Компьютер не может даже предположить, что есть твердый внутренний объем. Он также не знает, что это отдельный объект с поверхности, на которой он находится. Нетривиальная проблема — заставить компьютер понимать объект, а не просто видеть форму. Вот почему ранее мы видели демонстрации в AR, в которых люди прикрепляют фидуциарные маркеры к объектам, чтобы облегчить более тонкое отслеживание и взаимодействие. Почему так сложно? Первой задачей здесь является классификация. Чашки входят в тысячи форм, размеров, цветов и текстур. Некоторые чашки имеют особые свойства и сделаны для специальных целей, и они используются для совершенно разных целей в самых разных местах и контекстах. Подумайте о проблеме написания алгоритма, который может помочь компьютеру понять всю эту схему. Подумайте о проблеме написания кода, чтобы объяснить компьютеру разницу между чашками. Это огромная проблема для одного простого объекта , а их сотни тысяч.

Мы воображаем AR очки, которые показывают нам температуру кофе. Одним словом, нам понадобится технология, которая может понимать окружающий мир. Пока это невозможно, но мы можем тренировать компьютеризованные нейронные сети. Работы уже ведутся и выглядят весьма многообещающе. Смотрим видео ниже, которое показывает, как компьютер определяет разницу между людьми, зонтиками, светофорами и автомобилями.

Следующий шаг — расширение библиотеки возможных классификаций. Как только мы сможем заставить AR начать понимать мир вокруг нас, мы начинаем решать проблему адаптивного дизайна.

Стоит признать, что AR отстает от VR. Однако, AR массово захватывает рынок. Сейчас технология находится в начале своего пути. Посмотрим, что будет дальше,