Как и прогнозировалось, на ежегодной конференции разработчиков WWDC компания Apple представила ARKit 3. Это новейший набор инструментов для разработки AR приложений для iOS. Он предлагает отслеживание тела людей, а также окклюзию в режиме реального времени. Компания также представила Reality Composer и RealityKit, которые облегчат разработчикам создание приложений дополненной реальности.
ARKit изначально предлагал трекинг на основе компьютерного зрения, который позволяет современным iOS устройствам отслеживать их местоположение в пространстве. Также он дает возможность обнаруживать плоскости, которые можно использовать для размещения виртуальных объектов. Благодаря ARKit 3 система теперь поддерживает захват движения и окклюзию людей.
Окклюзия человека и отслеживание тела
Используя компьютерное зрение, ARKit 3 считывает положение людей на сцене. Знание того, где находится человек, позволяет системе правильно размещать виртуальные объекты по отношению к реальным людям. Система визуализирует объекты перед человеком или позади него, в зависимости от того, кто находится ближе к камере.
В предыдущих версиях ARKit виртуальные объекты всегда отображались «поверх» кого-либо, независимо от того, насколько близко они были к камере. Это выглядело нереалистично и разрушало иллюзию дополненной реальности.
Аналогичная технология используется в ARKit 3 для отслеживания тела в реальном времени. Зная, где на сцене находятся люди, и как движется их тело, ARKit 3 отслеживает виртуальную версию тела этого человека. Она, в свою очередь, может использоваться в качестве набора данных для AR приложения. Отслеживание тела может использоваться для интерпретации движений пользователя в анимацию аватара или для взаимодействия с объектами.
Из демонстрационных видеозаписей Apple видно, что на данном этапе технология выглядит довольно грубо. Даже при незначительном смещении камеры аватар сдвигается, небольшие движения ног пользователя отслеживаются не очень хорошо, иногда аватар не совсем точно интерпретирует движение пользователя. И это при том, что в демонстрационном видеоролике пользователь специально совершал лишь самые удобные для «захвата» действия.
На данный момент это может быть полезной функцией для самых простых AR приложений. Но есть надежда, что со временем технология улучшится и станет более точной. Более сложная система должна включать как ввод данных о движении, так и физику для создания более реалистичной, процедурно сгенерированной анимации.
И окклюзия человека, и отслеживание тела будут важны для будущих технологий сферы дополненной реальности, особенно для смарт-очков, которые «всегда включены» и постоянно имеют дело с окклюзиями. Это активная область исследований и разработок для многих компаний. Apple, скорее всего, развернет эти функции уже сейчас, чтобы оттачивать их до ожидаемого дебюта своей новой AR гарнитуры.
RealityKit
С ARKit 3 компания также представила инструмент RealityKit, который призван облегчить разработчикам создание AR приложений на iOS.
Создание AR приложений требует глубокого понимания основ разработки 3D приложений, инструментов и рабочих процессов. Многие из iOS разработчиков (которые обычно создают «плоские» приложения) вряд ли имеют большой опыт работы с такими функциями. Apple пытается облегчить для них переход на новые технологии (например, AR).
Судя по описанию от Apple, RealityKit − миниатюрный игровой движок, который предлагает «фотореалистичный рендеринг, эффекты камеры, анимацию, физику и многое другое». Он, видимо, призван заменить использование инструментов игровых движков, таких как Unity или Unreal Engine.
С RealityKit Apple также обещает высококачественный рендеринг. Он позволит виртуальным объектам максимально убедительно объединяться с реальным миром, накладывая на них эффекты, как если бы они были действительно запечатлены через камеру: тени, отражения, размытость и т.д.
RealityKit использует Swift API и поддерживает создание многопользовательских AR опытов на iOS.
Reality Composer
Как и RealityKit, Reality Composer призван облегчить работу разработчиков, не имеющих опыта с игровыми движками и активами. Apple утверждает, что Reality Composer предлагает готовую библиотеку 3D моделей и анимаций. Их можно с легкостью перетаскивать и создавать простой AR контент, который затем можно интегрировать в приложения с помощью Xcode или экспортировать в AR Quick Look.
Помимо встроенной библиотеки объектов, Reality Composer также позволяет импортировать 3D файлы в формате USDZ и предлагает пространственное аудио решение.
