Компания Massive Technologies выпустила приложение AR Pianist, которое «накладывает» виртуальных музыкантов на пианино. Оно было анонсировано при помощи видео, которое стало вирусным.
Суть AR Pianist заключается в том, что вы наводите камеру телефона на пианино, после чего появляется виртуальный пианист, который начинает играть на нем. В приложении большой выбор музыкальных композиций, а внизу экрана прокручиваются ноты самого произведения. Интересный эффект достигается тем, что даже клавиши инструмента кажутся «прижатыми», когда музыкант нажимает на них.
Our latest app, AR Pianist, uses machine learning to superimpose a virtual pianist on your piano. It works with any piano and features a library of songs performed by award winning pianists. #ar #arkit #ai #ios #vr #coreml #app #piano #apple #music #education #augementedreality pic.twitter.com/a7W7KYvoiP
— Fayez Salka (@fayezsalka) December 2, 2019
Технология очень похоже с другим продуктом компании Piano 3D, которое было выпущено еще в 2017 году. Оно было ориентировано на создание музыки. В нем был встроен режим обучения, возможность записывать собственные треки и экспортировать их.
Файез Салка (Fayez Salka) из Massive Technologies говорит, что приложение предназначено для людей, которые хотят научиться играть на фортепиано с AR-гарнитурой. Важный момент — скорость игры можно уменьшить в несколько раз, чтобы детально изучить движения рук и технику.
Massive Technologies говорит, что будущие версии будут включать обратную связь в реальном времени о ваших навыках игры с помощью микрофона. Салка также рассказала, что движения виртуальных пианистов смоделированы из поведения реальных людей. Для этого компания снимала профессиональных музыкантов, Осси Таннер и Татьяну Кухианидзе, с помощью десяти камер, чтобы зафиксировать все их движения с точностью до 1 миллиметра.
AR Pianist — бесплатное приложение, которое можно скачать в Apple Store.
