DisplayLink демонстрирует фовеальное сжатие для лучшего беспроводного VR опыта

В последние несколько лет DisplayLink разрабатывает технологию сжатия для беспроводной виртуальной реальности, в конечном итоге выпустив беспроводной адаптер Vive. Но как можно было заметить на прошлой неделе на CES 2019, развитие VR гарнитур неизбежно движется к более высоким разрешениям, усложняя процесс внедрения беспроводных решений.

К счастью, у DisplayLink имеется несколько хитростей, позволяющих повысить эффективность сжатия без повышения задержки.

Многие уже знакомы с концепцией фовеального рендеринга (подробнее можно прочесть здесь и здесь), которая позволяет добиться снижения нагрузки на графические процессоры. Кроме того, можно использовать отслеживание глаз, чтобы убедиться, что область высокого качества всегда остается в центре поля зрения пользователя. При условии хорошо проработанных алгоритмов рендеринга и качественного отслеживания глаз, разница в качестве изображения в центре и на периферии должна быть совершенно незаметной для конечных пользователей.

DisplayLink использует ту же концепцию, применяя сжатие вместо рендеринга. Сжатие имеет решающее значение для беспроводной виртуальной реальности, потому что устройству нужно отправлять изображения с высоким разрешением и высокой частотой кадров по беспроводному каналу. Однако из-за несовершенного характера беспроводных соединений иногда происходят внезапные сужения полосы пропускания.

Поддержание плавности изображения является ключом к предотвращению сбоев в беспроводном отображении VR опыта. Чтобы обеспечить согласованность изображений, DisplayLink разработала технологию сжатия, которая способна реагировать на изменения полосы пропускания на ходу (даже в середине кадра), например, когда рука пользователя на короткое время блокирует антенну. Система может применить большее сжатие, чтобы убедиться, что изображение сможет передаться даже при уменьшенной пропускной способности.

К тому же компания уже сейчас пытается повысить эффективность сжатия, чтобы даже высококачественные изображения для будущих гарнитур с более высоким разрешением смогли соответствовать доступной сейчас пропускной способности.

Именно по этим двум причинам DisplayLink разрабатывает фовеальное сжатие, которое использует данные отслеживания глаз, чтобы понять, где можно сильнее сжимать кадр, а где оставить качество высоким. При этом компания заявляет о довольно значительном увеличении эффективности сжатия.

Используя гарнитуру Vive, оснащенную устройством трекинга глаз от Tobii, команда DisplayLink устроила демонстрацию с использованием эталонного дизайна беспроводного адаптера. Изначально адаптер был настроен на использование той же полосы, которая доступна в беспроводном адаптере Vive. Затем они включили фовеальное сжатие и сократили пропускную способность до 1/3.

При этом журналисты отмечают почти незаметную разницу при переходе с полной на урезанную пропускную способность. При быстром перемещении зрачков и дотошном выискивании визуальных артефактов, иногда мимолетно можно было заметить зернистость изображения на периферии поля зрения.

Даже при быстром переключении между режимами полос пропускания было трудно обнаружить какие-либо значимые различия в качестве. Журналист из Road to VR подчеркивает, что если бы ему с самого начала дали гарнитуру с включенным сжатием (не сообщая о концепции теста), то он бы и не заметил никаких отличий.

Конечно, пока неизвестно, насколько хорошо сжатие будет работать с обычным контентом из SteamVR, а не с демонстрационным опытом. К тому же демонстрация проводилась на оригинальном Vive, который имеет довольно низкое разрешение по сравнению с более новыми устройствами, например, Vive Pro Eye, для которого тоже запланирована поддержка DisplayLink.

Однако фовеальное сжатие основано на существующей технологии сжатия DisplayLink, которая хорошо зарекомендовала себя на современных VR гарнитурах, поэтому у него вполне хорошие шансы на успех.