AR-приложение Magic Keys для Oculus Quest научит играть на пианино

Один из пользователей форума Reddit Доминик Хакл опубликовал видео своего AR-приложения Magic Keys для Oculus Quest с использованием экспериментального API для режима сквозного просмотра.

На видео Хакл показывает, как он может играть на реальной синтезаторе, используя наложение дополненной реальности для изучения музыки в режиме реального времени.

Концепция похода на программу VRtuos и другие аналогичные приложения для VR-фортепиано, доступные для Quest. Ноты появляются над клавишами в последовательном порядке, что позволяет вам выучить музыкальное произведение без необходимости в нотах или каких-либо знаниях.

Приложение использует отслеживание рук и калибровку виртуального пианино, чтобы выровнять реальные и виртуальные клавиши. Это работает довольно хорошо, однако периодически возникает разрыв в наложении картинки.

Первоначально Magic Keys было разработано для работы на Microsoft Hololens и Magic Leap One. Однако после появления экспериментальной функции сквозного просмотра в Quest, Хакл решил проверить функционал на этой VR-гарнитуре.

На данный момент приложение не доступно для широкой публики, но разработчик планирует выпустить его в ближайшее время.