Как перевести театр в AR: кейс Immerse AR Theatre и Trinity Monsters

Зритель сегодня не такой, каким он был 10 лет назад. Тем более, когда речь идет о пользователе смартфонов — сохранить его внимание становится все сложнее. Интеграция цифровых технологий в сценическое искусство может стать перспективным решением этой задачи. Команда Immerse AR Theatre и digital-агентство Trinity Monsters рассказали о разработке театрального приложения «Immerse» для проведения спектаклей в AR.

В маркетинге AR в основном пока используется как «хук» — крючок, привлекающий внимание. Длится такое «завлечение» всего несколько секунд. При этом зрителю не так интересна технология — ему интересна история. Дополненная реальность имеет весь потенциал дать пользователю возможность переступить порог от истории, в которой он лишь свидетель, к истории, частью которой он является.

Евгений Мандельштам, продюсер и драматург Immerse AR Theatre:“Существует достаточно устоявшаяся траектория, по которой новые технологии приходят в массовое употребление. «Хочешь понять технологию, иди к художнику», — как-то сказал директор по маркетингу новых продуктов «Яндекса» Андрей Себрант. Они ищут конкретные способы их использования и сначала транслируют свои впечатления на узкую тусовку ценителей. Уже оттуда технология переходит в коммерцию и получает широкое распространение” .

Зрительский опыт как отправная точка

Зрительский опыт был ключевым ориентиром для нас, именно поэтому мы взяли театральную команду. Театральное искусство особенно своим постоянным взаимодействием со зрителем. Такой навык помог интуитивно понять, как не дать ему заснуть или того хуже — отвлечься! Люди, которые работают на территории технологий, зачастую этот момент упускают. Их увлекает сам процесс создания, но они не очень понимают, как это в каждый момент времени влияет на аудиторию.

Мик Вайсман, CEO Trinity Monsters: “На рынке уже много AR-приложений, но почти все они — скучные, потому что разработчики фокусируются на самом инструменте. Они думают: «Сейчас мы внедрим AR, и все захотят этим пользоваться», а в реальности это никому не нужно. Осмысленное использование технологии — это всегда про коллаборацию с уже существующими форматами. Здесь важно участие экспертов из сторонних сфер. Если делать проект про рыбалку, то в центре внимания должен быть рыбак”

Мы создали сложную технологичную сцену и нарисовали детализированную комнату в дополненной реальности — получился настоящий монумент. Комната включала в себя динамические текстуры, многомерные объекты, вложенные друг в друга — целый мир, по которому можно ходить. Нам казалось, что сейчас люди ахнут, но никто не понимал, что когда первое «вау» пройдет, внимание к объекту быстро исчезнет.

Максим Диденко, режиссер AR-спектакля «ATALANTA»:“AR-спектакль — настолько неизведанный жанр, что любые режиссерские приемы были для меня новыми. Впервые пришлось работать с технологиями и архитектурой города. Зритель должен двигаться по определенному маршруту независимо от гайдов. Для этого мы встраивали 3D-объекты так, чтобы зритель обращал на них внимание непринужденно. Больше года мы бродили по переулкам Китай-города, чтобы поставить сцены в нужных местах. «ATALANTA» станет практически совершенной, когда технологии (5G и AR) выйдут на следующий виток”.

Возрастные различия восприятия AR — четко ощутимая граница. Мы отслеживали поведение зрителя с помощью трекера руки. Оказалось, что аудитория до 25 лет сразу начинает крутить телефон в разные стороны. У них есть осознание того, что зритель не привязан к точке, так как они привыкли к видео 360° и играм на приставках.

Более взрослую аудиторию сложнее вывести за границу экрана. Мы старались сделать содержимое экрана частью реальности, а рамку телефона — незаметной. Необходимо медленно выводить объект за рамку телефона, чтобы зритель следил за ним дальше. Можно задать базовое первое движение: «поверни телефон вбок» или «подойди ко мне». Не помешает и «обучалка».

Все движки дополненной реальности позволяют производить распознавание образов — «QR-кодом» может быть вообще любой объект реальности. Нам казалось это невероятно крутой фишкой, но люди этого пока не распознают.

Дополняйте AR — используйте разные технологии

Когда ты создаешь AR-спектакль для мобильной платформы, конкурентное поле, в котором ты находишься — это Instagram, Telegram, Tinder и другие приложения. Нам нужно было в течение 45 минут удерживать человека от сторис и мэтчей. AR здесь был не единственным инструментом.

Важной составляющей было создание сложного многомерного звука, который работает только в наушниках, иначе эффект теряется. Зрители, которые сначала слушали звук через динамики, а потом надели наушники, говорили: «Это же совсем другое!». Мы сочетали несколько саунд-технологий, основной из которых был бинауральный эффект — иллюзия «объема», при которой слушатель может определить направление движения звука.

У AR была та же самая задача: виртуальный объект должен изменяться по определенной логике, то есть быть частью сторителлинга. Если у человека проскакивает мысль: «А, ну понятно», — это сигнал потери. Чтобы это избежать, мы добавили звуковой эффект и визуал потоков ветра. Сцену в реальности мы расположили на незащищенной ветренной площади. В обратной связи зрителей часто звучало что-то вроде: «Самое классное было, когда я просто стоял на площади, видел в AR какие-то потоки, звук ветра был в наушниках, и тут меня реально обдувает. Полное погружение».

Стирайте границы между виртуальным и реальным

Как мы выяснили, нужно объединять зрительные впечатления от AR с ощущениями других органов чувств. Так мы дополняем сторителлинг. Еще одна популярная технология — «портал», которая уже является предзаданной в AR-пространстве. Ты устанавливаешь перед зрителем воображаемую дверь — зритель при входе в нее оказывается в 3D-среде.

Зрители, которые попали на представление «Immerse», обнаружат на стенах домов огромные барельефы из глины. Их можно потрогать, и при этом они визуально связаны с дополненной реальностью. Пользователям нравится, когда что-то, что они видели внутри своего телефона, вдруг появилось в реальности.