Как это — заниматься дополненной реальностью в России

Привет! С вами Артем Харитонов — основатель GORA Studio. Мы занимаемся дополненной реальностью (Augmented Reality, AR): разрабатываем AR-приложения и даже сделали инструмент, которым пользуются другие AR-разработчики во всем мире. Недавно на VC был рассказ о глобальных мировых достижениях в сфере дополненной реальности. А я расскажу, как это — делать AR-проекты в России.

Вместо предисловия: что происходит на рынке AR

Аналитики говорят, что рынок AR за 4 года вырастет в 11 раз, и это согласуется с моими ощущениями. Всего полтора года назад всех ограничивали технологии: чтобы полноценно пользоваться AR-приложениями, нужны были очки вроде Magic Leap. Они дорогие, тяжелые, «не для жизни» и сводят с ума вестибулярку, поэтому не зашли.

Но с конца 2018 года на рынок хлынули мощные смартфоны, способные легко работать с AR-объектами — например, добавлять их прямо в браузер. Таких смартфонов уже больше ста, и в жизнь обычных людей приходит всё больше AR-возможностей. Google выкатывает AR-навигацию в Google Maps, YouTube позволяет нанести AR-макияж из роликов бьюти-блогеров, а наши русские ребята из Faradise сделали платформу, чтобы примерить мебель к квартире перед покупкой и рассчитать материалы для ремонта.

Чем больше людей покупают современные смартфоны, тем быстрее растет потребление AR-приложений. Gartner говорит, что в следующем году с помощью AR будут делать покупки 100 миллионов человек — не буду спорить с экспертами 🙂 Но прямо сейчас всё только начинается.

Главный вопрос жизни, вселенной и всего такого

Когда стоишь у истоков, главный вопрос — куда идти. Для нас это значит: «Каким AR-фреймворком будем усиленно заниматься?». Опций две: ARKit / ARCore или Unity / Vuforia.

ARKit от Apple и ARCore от Google — это нативные средства разработки AR-приложений. Чтобы делать приложения с их помощью, достаточно технической базы в виде Swift и JAVA (и еще нужна тонна дополнительных знаний, но об этом ниже).

Они решают фундаментальные задачи: отслеживают движение смартфона и положение в пространстве, определяют размеры и положение окружающих предметов, освещенность и многие другие параметры, а также считывают геолокацию.

Unity или Vuforia— AR-платформы на базе игрового движка, которая, впрочем, умеет использовать ARKit и ARCore (незабвенный Pokemon GO сделан как раз на Unity) для базового поиска поверхности и ориентации в пространстве. Без знаний C # не разгуляешься. Прочие варианты, вроде Unreal, уже непопулярны.

Перепробовав всё это, мы остановились на ARKit и ARCore. Сделали ставку на то, что Google и Apple не забросят AR и будут развивать нативные инструменты, а со временем они станут AR-стандартом для мобильных устройства.

Пока всё по плану: Apple, например, включила обновленный ARKit 3.0 в список главных новинок WWDC 2019 и выкатила универсальный 3D-формат .usdz (поддерживают все популярные 3D редакторы). Сейчас уже есть нативная интеграция просмотра .usdz в Safari на iOS:

А Google стабильно говорит о развитии ARCore на своих конференциях I/O и регулярно обновляет корневую библиотеку ARCore — Scenform, которая отвечает за отрисовку сцены и объектов в дополненной реальности.

Братство в вакууме

Разработка и на Unity, и на «голом» ARKit / ARCore идет в информационном вакууме. Да, в России AR занимаются десятки компаний — как мы, Faradise и Alchemy AR — а в мире сотни. Но такого мощного сообщества, как, например, вокруг PHP или Python, еще не сложилось, и на StackOverflow нет ответа на любой AR-чих.

Иногда, решая задачу, будто влетаешь лбом в бетонную стену: не знаешь, что делать, и узнать не у кого (Гугл еще не в курсе). Остается решать самим. И решаем, причем в процессе мы несколько раз находили недокументированные возможности ARKit. А в первых версиях ARCore вообще не было поддержки анимации у 3D-моделей, хотя в промо-роликах лев танцевал.

С другой стороны, у нас довольно узкая тусовка, и AR-разработчики знают друг друга. Мы из разных компаний, но все в одной лодке: нащупываем пути развития, создаем библиотеки для работы с AR. Наши AR-продукты для заказчиков — это, конечно, коммерческая тайна покрытая семью NDA. Но опыт изучения ARKit и ARCore никуда не спрятать, плюс делаем инструменты для облегчения AR-жизни — ими и делимся с коллегами.

Например, для записи видео в AR-режиме с 3D-моделями традиционно применяли обходной путь: писали видео экрана смартфона. Это колхоз. Сделали собственное решение — SCNRecorder, чтобы писать видео с камеры смартфона и добавлять на него AR-модель и звук, и выложили для всех на Гитхаб.

Приятно видеть, что SCNRecorder оказался полезен и нашим коллегам — в Сан-Франциско (США) его внедряют для записи видео в приложении Panda. Другие AR-разработчики тоже публикуют свои решения, и мы создаем общую базу инструментов. Б — братство!

AR-разработчик = евангелист + аналитик

На технологии AR нет устойчивого спроса, потому что рынок еще не сформировался. За рубежом многие считают дополненную реальность перспективной, но мало кто знают, как ее монетизировать (один из немногих примеров — игра Pokemon GO, которая принесла разработчикам $2 млрд). В России всё даже интереснее.

У нас многие потенциальные заказчики пришли из офлайна, не слышали об AR и не понимают, как работает эта технология. Иногда переговоры выглядят так: «Это что, для телефона? Мне не надо, мне целый сайт дешевле сделали» (утрирую, но суть такая). Единственный путь — стать евангелистами AR. Мы методично погружаем клиента в технологию: делаем демо, бесплатные микропроекты, показываем AR-кейсы в той же области. Постепенно у клиента появляется интерес к коммерческому применению AR.

Бывает и другая реакция: «О, AR — это круто! Надо делать». Но если не знать, с какой целью внедряем технологию, получится разработка ради разработки. Это путь к разочарованию и в AR, и в нас. А мы хотим делать продукты, которые принесут пользу бизнесу и потребителям, и продвигать дополненную реальность. Поэтому глубже погружаемся в процессы заказчика, чтобы предложить полезное решение.

На мировом рынке проще: больше компаний, которые понимают перспективы AR и готовы развиваться в этой сфере, — и мы планируем выйти на зарубежные рынки. По digital-трендам Россия быстро догоняет мировой уровень. В первом ряду идут гиганты вроде «Сибура», которые уже используют AR/VR-компоненты мирового уровня, а за ними следуют остальные.

Думаю, в России у AR-разработчиков тоже будут хорошие возможности (как это уже произошло в финтехе и нейросетях). К тому же у нас лучшие программисты — по уровню специалистов мы, вместе с Китаем, в топ-2 в мире (так говорит HackerRank и рейтинги ICPC, IOI и Facebook Hacker Cup). Так что двигаем AR-прогресс из России.

Почему вы не сможете нанять «готового» AR-разработчика (и я не смогу)?

У нас в компании работа построена по [фэншую] лучшим ИТ-практикам: эджайл, джира, слак, дженкинс, конфлюенс — вот это вот всё. Отличий только два. Во-первых, нас всего 15 (этого хватает, чтобы делать AR-проекты). А во-вторых, даже в нашу небольшую команду очень сложно найти новых людей.

Для работы с дополненной реальностью нужно знать геометрию и технологии 3D-отрисовки. А поскольку готовых решений для наших задач нет, кроме своего стека нужно знать смежные. Не все разработчики, даже хорошие, готовы во всём этом разбираться. А людей с AR-опытом слишком мало: компании нашего профиля можно пересчитать по пальцам, причем многие только начинают работать.

Мы же набирали знания два года, разбираясь и набивая шишки по ходу дела. Поэтому сейчас и не пытаемся искать «готовых» опытных сотрудников. Чаще приглашаем уверенных мидлов и джунов без AR-опыта, готовых учиться.

Драйв и кайф: почему мы занимаемся AR

Да, нам непросто находить заказчиков и сотрудников, нужно продавать не только свои услуги, но и целую отрасль. Но игра стоит свеч.

Мы стоим у истоков популярной технологии, первыми решаем сложнейшие задачи, и в нашей отрасли царит дух свободы и энтузиазма, как на заре развития интернета. Это кайф 🤤. Кроме того, у AR отличные перспективы в рекламе, медицине, обучении и так далее. Когда спрос на AR-решения рванет вверх по экспоненте, мы хотим быть среди самых опытных и востребованных игроков на этой поляне.

А еще AR драйвит меня: я хочу видеть ее в своей жизни. Дополненная реальность улучшит жизнь в тысячах ситуаций. Я хочу, чтобы моя жена сразу находила машину на парковке супермаркета по AR-указателям, а туристы ориентировались в моем родном Петербурге так же легко, как я. Это и многое другое уже возможно — был бы заказчик с энтузиазмом.

Пределы AR

Мы одними из первых в СНГ занялись не собственным продуктом, а AR-разработкой под заказ. Для одних клиентов мы делали «узкие» проекты — например, AR-открытки (отправьте друзьям открытку с Исаакиевским собором, и из нее вырастет 3D-модель). Для других — масштабные. Сейчас занимаемся соцсетью, где в реальном мире можно оставить другим пользователям AR-объекты и распознавать метки и находить 3D объекты. В результате мы овладели довольно широким спектром возможностей. Поэтому расскажу об AR-возможностях на примере того, что может наша команда. Итак, сейчас смело можно:

1. разместить в реальном мире любой AR-объект — 3D, gif (включая GIPHY), изображение, текст или видео, в том числе с YouTube
2. найти любой размещенный 3D объект в нужнйо геолокации
3. сделать совместную игру (до 10 человек пока) и пострелять друг в друга или совместно в общего врага
4. рисовать навигацию снаружи и внутри помещений в AR (без маячков и wifi)
5. распознать «на лету» метки (лого бренда или страницу в каталоге) / QR-коды и показать нужный контент (3D объект или что угодно) с удобной админкой под клиента
6. распознать объект (например, навести телефон на здание и узнать, что это) Обычно ради уверенного распознавания тысячи фоток объекта прогоняют через нейросети. Мы же объединили сканирование с геолокацией: телефон знает, что за объекты рядом с вами, сокращает список вариантов и выдает точный ответ
7. сканировать любой живой неподвижный объект (размером до 2х2х2 метра) и в режиме реального времени делать 3D модель и отправлять её куда угодно в формате всех популярных 3D редакторов (качество среднее, но издалека можно не отличить человека от 3D модели)
8. селфи с 3D объектами (без датчиков глубины, не нужен iPhone X и выше)
9. разместить 3D объект за человека или перед ним в дополненной реальности (окклюзия, пришла с ARKit 3.0)
10. записать видео со звуком или фото в дополненной реальности в максимальном качестве (SCNRecorder)

Этих возможностей достаточно для решения задач, которые сейчас ставят перед AR. Можно показать над товаром в магазине виртуальную карточку с описанием. Или посмотреть, как этот здоровенный холодильник впишется на кухню. Или распознать на улице неизвестное заведение: «У того кафе пять звезд на Tripadvisor, идем!». Или привести покупателя по «лунной дорожке» в ваш магазин. Или выбрать блюдо в ресторане не по названию, а по 3D-модели, наведя телефон на меню. Или подсветить, как ставить узел при сборке машины на конвейере.

Возможностей больше, чем идей по применению. Качественные идеи — дело ближайших лет.

Станет мейнстримом? Да!

Думаю, дополненная реальность станет обычным делом в реальном мире — чем-то вроде «нового инстаграма». Те компании, которые опоздали с развитием в интернете в 90-е и 00-е, оказались на задворках бизнеса и прогресса. То же самое произойдет с компаниями, которые в 20-е дистанцируются от AR / VR.

Пока AR воспринимают как фишку для отстройки от конкурентов, пробу возможностей.
А к 2025 году 75% всех работающих людей в мире будут из поколения миллениалов, а за ними придет поколение Z. Это «цифровые» поколения. Для них нужны новые средства вовлечения, новые инструменты и интерфейсы для работы и бытовых дел.

Я не вижу для этого других прорывных возможностей, кроме AR / VR (без вживления чипа в мозг от Neuralink). Думаю, рынок найдет новые способы применить и монетизировать их. Поэтому нас ждет много экспериментов — и много решений, которые сейчас просто не приходят на ум.

Ну а дело AR-студий — наращивать технологические мускулы и реализовывать их максимально качественно. Ведь кто, как не мы, можем приблизить будущее?