Проблемы проектирования AR приложений на смартфонах

С запуском ARKit, AR приложения станут доступны примерно для 500 миллионов iPhone в ближайшие 12 месяцев, и эта цифра утроится, ведь теперь у нас есть ARCore от Google.

Эти обновления в сфере дополненной реальности привлекли множество AR разработчиков, и мы увидим много интересных экспериментов, поскольку разработчики взглянули на AR по-новому. Фактически, это означает новую веху истории, ведь ранее мы взаимодействовали с визуальным контентом через что-либо (от каменных табличек до кино, смартфонов и т. д.), а AR — это первый носитель, который не имеет границ.

Это новая среда. Также как и интернет отличается от печати в своей сути, а не только лишь масштабом технологии. Точно также, как и первые версии коммерческих сайтов были не более чем одной страничкой с, загруженной на неё, отсканированной рекламной листовкой. Так и первые AR приложения ничто иное, как такие же подобия дополненной реальности. Они будут ужасны, но! это будет совершенно новое явление.

Выйдем за рамки телефона
Один из самых больших скачков — это то, что разработчики теперь должны начать думать за пределами телефона. Необходимо переосмыслить основы взаимодействия с устройствами в целом. Структура реального мира, типы движений, наличие людей поблизости, типы объектов или звуки поблизости теперь играют определенную роль в дизайне AR проектов. Все происходит в 3D (даже если ваш контент только 2D).

Это большой концептуальный скачок для разработки контента, который «живет» вне телефона в реальном мире, хотя пользователь может видеть его и взаимодействовать с ним через дисплей.
Различные взаимодействия / переходы / анимации / обновления, которые происходят в приложении, — это только один контекст для рассмотрения, так как может быть много чего «вне приложения».

Биомеханика запястья против головы (против туловища)
Тот факт, что мы держим наши телефоны в руках, с одной стороны огромное ограничение, а с другой возможность. Наши запястья и руки могут двигаться так, как наша голова просто не может. Приложение, которое вы можете использовать с одной рукой, может позволить движения, которые приложение, требующее двух рук, не может (так как вам нужно поворачивать тело).

Вам не нужно крутить головой, чтобы произвести замеры! Этот тип использования должен всегда иметь смысл для AR смартфонов.
Это означает, что приложения дополненной реальности, которые не требуют просмотра дисплея (поскольку ваши руки могут стать вашими глазами), могут хорошо работать. Два замечательных примера — приложение «Рулетка» и AR приложения, которые позволяют вам сканировать в 3D небольшие объекты.

Отметим, что быстрые игры (например, шутеры) будут весьма затруднительны в мобильном AR, ведь придется очень быстро передвигать телефон и суть будет сложно уловить.

Зачем вытаскивать телефон из кармана?
AR разработчики часто забывают, что наши телефоны мы всегда держим при себе в кармане или сумке. Наше приключение в дополненную реальность обычно начинается, когда мы кликаем на AR приложение. А как насчет того, чтобы оно начиналось раньше? Ведь одним из уникальных преимуществ AR является то, что технология может обеспечить контекст в реальном времени вокруг нашего местоположения. Если пользователь запустит приложение на 30 секунд позже, можно пропустить интересные моменты, поскольку вы пропустили нужную локацию для приложения. Отметим, что уведомления от Facebook или СМС не имеют такой проблемы, ведь они восприимчивы к локации пользователя.

Как же мы определим, что настал именно подходящий момент, чтобы достать наш смартфон? Это пока является проблемой.

Уведомления могут поступать традиционным способом через push-сообщения или пользователь может увидеть в реальном мире подсказку и понять, что приложение нужно использовать именно здесь (например, Google Word Lens для перевода меню на другом языке).

В противном случае ваше приложение просто должно работать в любом месте. Эта проблема весьма актуальная для AR граффити, которые позволяют людям оставлять граффити для других. Пользователи практически не знают, где им искать контент.

FYI — это просто еще одно название той же проблемы. Большинство компаний задумываются, как заставить потребителей вытащить свой телефон для взаимодействия с контентом.
Эта проблема также проявляется по-другому, когда разработчики приложений думают о конкуренции. Поскольку AR открытая сфера, появляются мысли, что здесь можно легко стать первым. Тем не менее, AR всегда конкурирует со временем. Мы всегда находимся в движении и делаем что-то, ну так как AR может конкурировать с этим?

AR как  дополнительная функция
Когда мы начинаем думать о приложениях ARKit, мы сразу вспоминаем о взаимодействии реального и виртуального. Но подумайте, это не везде имеет смысл, так как многие приложения будут работать лучше, если они останутся обычными приложением для смартфонов, например, ввод пароля.  2D-карты более удачный способом отображения данных местоположения из-за того, что пользователь может увеличивать / уменьшать масштаб и доступен 360 градусный обзор. А может лучше было бы создавать гибридные приложения, где AR будет дополнительной функцией? Например, Yelp сделал это с помощью функции Monocle.

Переход в режим AR — это функция приложения Yelp (Monocle), а не цель приложения. Интересненько.

Взаимодействие с миром
На самом простом уровне AR приложение обеспечивает взаимодействия между цифровым контентом и физическим миром (или физическим лицом). Если нет цифрового / физического взаимодействия, то это обычное приложение. Взаимодействие с миром может осуществляться тремя способами:

• 3D-геометрия — это означает, что цифровой контент может физически реагировать на структуру реального мира. Например, маленький робот Magic Leap.

• Другие люди, разделяющие ваше погружение.

Если вам нужно взаимодействовать с другими людьми, тогда это, вероятно, AR-native. Например, архитектор, показывающий клиенту трехмерную модель на журнальном столике.

Возможность делиться AR с другом или коллегой в одном и том же физическом пространстве — это естественное использование технологии.

• Движение контроллера

Это означает, что контент может быть и статическим, но вы физически перемещаете свой телефон, или телефон может выступать как контроллер. Это пограничная IMO. Если контент просто находится на столе, и вы можете просматривать его с разных точек, перемещая свой телефон, в этом не заключается природа AR, это просто преимущество технологии. Приложение для смартфонов намного удобней в применении с использованием сжатия/ масштабирования и т. д.

Некоторые люди утверждают, что ощущение физического AR масштаба и есть его суть … Вопрос, который вам нужно задать, заключается в следующем: есть ли какая-либо польза от этого, исключая новизну. Один из способов, с помощью которого контроллер (телефон) может использоваться по-существу, аналогичен контроллеру Wii, где определенные движения контроллера вызывают действие в контенте. Одним из примеров был бы виртуальный воздушный шар, парящий над столом, и вы могли бы «толкнуть» его, физически направив контроллер на объект.

Подумайте, нужно ли давать пользователю преимущество таким типом взаимодействия? Если нет, то признайте, что это новинка или создайте обычное приложение.

Локация облегчат дефицит
Еще в 2011 году на мероприятии AWE, Ярон Ланье выступил с речью, где предложил интересную идею. Так же, как Интернет разрушил концепцию дефицита информации , так же может сделать и AR. Многие AR события привязаны к локации. Даже если погружение можно воспроизвести в другом месте, первоначально разработанная локация всегда лучше и интереснее. Это цифровой эквивалент живого концерта в сравнении с MP3.
Это огромный потенциал для новых бизнес-моделей для цифровых компаний, особенно когда вы начинаете смешивать потенциал иерархических и децентрализованных компаний. Творческие компании могли бы извлечь из этого выгоду, поскольку они были в наибольшей степени обижены в цифровой форме из-за отсутствия защиты контента и, по крайней мере, музыкальная индустрия могла бы тоже получить приличный доход от транслированная концертов, например.

Pokémon GO начинает использовать эту концепцию с функцией «Рейды». Например, в Японии был создан рейд Pokémon GO — это было единственное место в мире, в котором вы могли бы приобрести самого ценного покемона — Mewtoo.

Другим примером может быть «AR MMO», где вам нужно отправиться в Африку, чтобы посетить конкретного кузнеца.

Возможно, что некоторые интересные компании будут построены вокруг воссоздания цифрового дефицита в будущем.

Не соблазнитесь AR
AR — это большой соблазн. Чем больше вы об этом думаете, тем больше вы осознаете, что это будет классно, и новые идеи посещают вас. Мы регулярно видим интересные и полезные стартапы. Они решают проблемы, с которыми мы сталкиваемся в повседневной жизни. Они действительно могут стать следующей огромной платформой, что-то вроде Google. Проблема в том, что технология или UX, вероятно, пока не поддерживают их. Предприниматель верит в идею и хочет начать работу, но увы рынок или технология не поддерживает формат.

Это сложно отложить хорошая идею на полку, но нужно верить, что ваша идея может быть воплощена именно так как вы ее видите, и вы знаете свой сегмент покупателей, а также инвесторов, которых это заинтересует. Если вы не можете сделать две вещи выше, вы должны спросить себя, а правда ли это отличная идея? Хорошая идея дает веские основания для вытеснения более эффективной, социально понятной и естественной версии этой функции в пространстве.

Поле зрения — большое ограничение
Одним из очевидных различий между смартфоном AR app и HMD AR является поле зрения. HMD с большим полем обзора — захватывающе, однако у AR смартфона всегда будут две проблемы: у вас есть только небольшое «окно» для вашего контента («волшебное зеркало»). У ваших друзей обзор будет еще меньше, если они захотят посмотреть,что вы делаете. Это можно смягчить хорошим отслеживанием.

На экране телефона отображается то, что видит камера, а не то, что видите вы. Ориентация камеры, смещенная на дисплей, и поле зрения отличаются для нашего восприятия.

Если вы проведете линию из центра глазного яблока в мир, затем будете держать камеру точно на этой линии, обзор камеры будет близок к тому, что видят ваши глаза, камера будет че-то вроде прозрачного стекла. На самом деле это никогда не произойдет, но люди не понимают и смотрят сквозь экран, игнорируя, то что на экране.

Итак, что можно сделать, чтобы помочь погрузиться в технологию на крошечном поле обзора?

Подумайте о масштабе. Если ваш контент физически небольшой, то он вполне может полностью поместиться на экране смартфона. Например, цифровая кошка в натуральную величину, вероятно, даст более естественный опыт, чем уменьшенный динозавр. Мы можем применить некоторые знания от VR, поскольку игра с инверсией масштаба может создать ощущение полного погружения.

Если ваш контент больше размера смартфона, подумайте о бонусах. Например использование тумана для покрытия цифровой сцены. То что просмотрели пользователи было бы без тумана, а то, что еще нет, в тумане. Это напомнило бы, что еще не все просмотрено и нужно рассеивать туман, если они хотят увидеть больше. Но не забывайте оставлять какие-то индикаторы для поиска.
Это ощущение погружения может быть довольно сложно достичь на практике. Получение конечного продукта — сложный процесс и означает переосмысление многих аспектов UX.

Тестирование продукта играет важную роль. Нужно пытаться избавиться от предвзятого отношения к новизне AR и получить реальные данные. Это большой скачок от того, что выглядит впечатляюще на YouTube,  и того что действительно удобно использовать.

Примите факт, что у вас нет контроля над реальным миром
Одним из самых больших различий между AR приложением и любым другим программным обеспечением является то, что разработчик не можете контролировать, где конкретно пользователь решит запустить ваше приложение. Для вашей настольной игры может потребоваться игровая зона размером 2 × 2 фута, но пользователь решает открыть приложение в автобусе или на крошечном столе, или на столе, покрытым различными предметами. Приложение не сможет быть запущенно в таких условиях и в итоге у вас есть несколько вариантов решения проблемы.

Во-первых, дайте инструкции для пользователя о том, где нужно использовать приложение. Ведь если вы их не предоставите, пользователи получат неудачный опыт использования.

Еще один способ решить эту проблему — создать приложение для конкретного случая использования, чтобы пользователи даже не думали открывать его в неподходящем месте.

Другим жизнеспособным подходом является разработка универсального приложения, которое сможет работать в любом месте. Если вы подумываете о создании игры для ARKit, то лучшим решением будут цифровые игрушки, которые можно использовать, где угодно (виртуальный автомобиль с дистанционным управлением, виртуальный скейтборд, виртуальный мяч).

Наконец, последнее и лучшее решение, которое, увы, не является жизнеспособным, поскольку это пока технически невозможно. 3D сканирование локации и оптимизация контента в сцену. Для этого нужно решить две сложные задачи: реконструкция 3D-сцены в реальном времени (почти решена) и семантика, и инструментальные средства для компоновки содержимого. Скорей всего данная проблема решится в ближайшие годы, а пока стоит обратить внимание на первые подходы, которые описаны выше.

Moatboat разработал свое AR приложение, чтобы позволить размещать контент в любом месте. Этот тип «свободной игры» особенно подходит для AR, поскольку разработчик не знает, какие объекты может содержать физический мир. UX работает хорошо как на плоской поверхности, так и в заполненной комнате.

Хорошая новость заключается в том, что отсутствие контроля и предоставление максимальных полномочий пользователю — это определяющий аспект среды.

В дополнение к вышесказанному вам предоставляется произвольная система координат для вашего приложения, которая уникальна для каждой конкретной сессии. Ваше приложение знает только свое относительное положение в этой системе координат. Приложение начинается с XYZ 0,0,0. Нет корреляции с «абсолютными координатами» (широта / долгота / высота) и нет возможности поделиться своим «пространством» с кем-то другим. Это, безусловно, изменится в будущем (12-18 месяцев) с обновлениями ARCore и ARKit, и есть несколько стартапов, работающих над API-интерфейсами, но на данный момент вы должны учитывать нынешнее положение дел.

А как вы держите телефон?
В первые дни мобильного AR мы с оптимизмом думали, что люди подстроятся под технологию, чтобы получить новый и интересный опыт. Но поведение людей было значительно переоценено. Ваше приложение не будет приложением, которое изменяет этот социальный контракт. Если вы хотите успеха, то нужно помнить о привычках людей держать мобильное устройство.

• Руки поднимаются вверх на короткий период времени. Обычно для быстрого кадра. Это означает, что AR — способ визуального ответа на вопрос, а не способ долговременного участия.

• 45-градусный угол обзора, указывающий на землю. Это интересно для  приложений с мелким содержимым (например, 1 или 2 фута), где действие происходит прямо перед вами.

Существует несколько способов, которыми телефонные датчики могут использоваться для переключения режимов в зависимости от того, как пользователь держит телефон, например, приложение представляет собой обычную 2D карту, удерживаемую горизонтально, но переключается в режим AR и запускает визуальный поиск мгновенно, когда он поднимается вверх.

Приложение Nokia City Lens успешно использовало этот пользовательский интерфейс в 2012 году.

Вход блокируется стеклом 
Когда вы тестируете свое приложение, вы поймете, что одна из первых вещей, которую пользователи делают, когда видят виртуальный контент в реальном мире — это попытка коснуться его через экран, затем они немного путаются. Ну как так. Это хороший признак того, что вы создали что-то классное, но это также демонстрирует, что взаимодействие связано с куском стекла, который физически находится в ваших руках, а содержание может находиться в нескольких футах от него.
Вы, по сути, просите кого-то отвлечь свое прямое трехмерное понимание мира обратно в 2D-жесты на экране смартфона. Это добавляет когнитивную нагрузку, а также разрушает погружение. Но большие пространственные жесты могут быть проблематичны.

Обратите внимание, что просто физическое «прикосновение» к содержимому также не решает проблему. Если у вас была возможность попробовать Meta HMD или Leap Motion, вы заметите, что отсутствие тактической обратной связи создает еще одну диссоциацию для контакта с пользователем.

IMO вход для AR — одна из самых больших проблем, которые действительно нужно решить, прежде чем мы сможем надеяться на регулярное ежедневное использование AR ресурсов на массовом рынке.

Возможность манипулировать видеокадрами реального мира

Одной из характеристик AR смартфона, в отличие от сквозных HMD, является то, что «реальный мир», который видит пользователь, на самом деле является видеоресурсом реального мира. Это дает возможность манипулировать видеопотоком, чтобы улучшить аспекты вашего приложения. Уил Стептои провел отличные исследования еще в 2013 году, прежде чем он присоединился к Facebook. Он показал, что тонко стилизуя видеоролик реального мира, стало сложнее рассказать о виртуальном и реальном содержании, тем самым увеличивая погружение. Это действительно интересная идея и может быть применена инновационными способами для приложений ARKit.

Концепция «App» для переключения контекста против нативного AR UI

AR приложения для смартфонов полагаются на метафору приложений для смартфонов, чтобы открывать / закрывать «приложения» для переключения контекстов (например, переключаться между мессенджером и игрой). Вы постоянно погружаетесь и просматриваете AR контакт через камеру, каждый раз переключая контексты, управляемые пользователем. Это действительно упрощает ситуацию, так как вам не нужно беспокоиться о динамическом переключении контекста. Это соблазнительная идея создать приложение все-в-одном ( платформу?), но понимание что именно хочет пользователь — это невероятно сложная проблема для решения.

Скеоморфизм — хорошая идея

AR является совершенно новым средством и многие просто не знают, как его использовать. Есть много научных способов взаимодействия со своим сегментом потребителей, но будут ли они действовать на практике? Большой вопрос. Итак, небольшой совет. Если реплицировать «реальную» вещь, которую вы оцифровываете, пользователи будут инстинктивно понимать, как использовать ваше приложение.

Хороший пример этой концепции — Dekko и их символ обезьянки. Прототип телефоных звонков в AR для Samsung тоже было классной идеей. Есть так много интересных способов сделать это (например, сова Хогвартса летит к вам с сообщением), но идея заключалась в копировании знакомого пользовательского интерфейса, где зеленый цвет символизирует готовность ответить на звонок, а красный означает игнорирование.

Важно отметить, что это не будет 2D скеоморфизм, скорее всего, это 3D символический язык, который использует пространственные подсказки (тени, затенение, прозрачность и т. д.), но не претендует фотореалистично отражать объекты реального мира.

Доказательство этого происходит только путем пользовательского тестирования вашего приложения с пользователями, которые ранее не использовали AR.

Доступность для пользователей, которые не будут верить в то, что они видят
Интересный факт, который нам трудно принять, будучи постоянно погруженными в AR — пользователи часто не верят в то, что видят. Они не могут принять факт, что контент фактически «в 3D-мире» по сравнению с экраном. Обеспечение либерального использования преимуществ и тонких сигналов, чтобы показать некоторую связь с реальным миром, действительно поможет пользователям понять, как взаимодействовать с технологией. Нужно также учитывать важность отдельных элементов погружения, ведь чаще всего именно они помогают пользователю насладиться опытом.

 

Также очень важно, как AR объекты реагируют на столкновения, окклюзии, движение телефона, ведь это имеет решающее значение для восприятия. Стабильное отслеживание (без дрейфа) является только частью всего процесса, внимательно изучайте поведение виртуального персонажа при взаимодействии. Часто возникают проблемы с движением персонажей в реальном мире. Их шаги кажутся размытыми и нереальными, что портит общее впечатление. Точно так же, как если бы персонаж «врезался» в физическую структуру и не реагировал на это.

Чем реалистичнее ваш персонаж, тем больше ответной реакции будет от юзеров. Интересный факт, даже если присутствуют несущественные прорехи в анимации, но виртуальный персонаж выглядит достаточно реалистично, пользователи даже не замечают недостатки, все внимание приковывает персонаж.

Но есть существенная проблема — это перекрытие контента и плотность информации. Большинство демонстраций в AR показывают пространство с ярлыками, аккуратно разделенными и читаемыми. Как знают дизайнеры и архитекторы, разработка читаемых ярлыков и знаков в 3D пространстве в движении — очень тяжелая работа.

Дизайн персонажей

Существуют довольно эффективные подходы для используемых предметов и символов в AR приложениях. Давайте посмотрим видео Наташи Джен из Pentagram, где она делится с нами мыслями по этому поводу.

Надеемся эти советы были полезны для вас! Руководство  vr-j желает вам успехов на тернистом пути разработки AR приложений.

Оригинал