Немецкое общество имени Фраунгофера (Fraunhofer) известно во всем мире своим вкладом в разработку технологии сжатия MPEG, используемой в аудиофайлах MP3 и видео в формате MP4. Недавно это крупнейшее европейское объединение институтов прикладных исследований переключило свое внимание на следующий рубеж в области медиа − виртуальную реальность.
После демонстрации в прошлом году прототипа VR гарнитуры с OLED микродисплеями,организация занялась разработкой программного обеспечения для сжатия видео следующего поколения с использованием нового стандарта MPEG-OMAF. Специально ориентированный на виртуальную реальность инструмент позволяет передавать 360-градусное потоковое видео в сети 5G без потери качества.
По большей части стандарт MPEG-OMAF основан на существующей технологий сжатия видео от института Фраунгофера. Он разбивает видео на фрагменты, закодированные с различными разрешениями. В пояснительном изображении (ниже) красным окрашены те фрагменты/области, которые транслируются с низким разрешением. А нормально окрашенные части это те, которые передаются в потоковом режиме при высоком разрешении.
Это в корне отличается от традиционного стриминга видеороликов, которые транслируются с серверов в том разрешением, которое выбрал пользователь. При новом же методе система динамически транслирует в высоком разрешении те фрагменты VR видео, которые в данный момент просматривает зритель. Те части, которые находятся вне поля зрения, обладают более низким разрешением. При изменении положения головы пользователя гарнитура (или любое другое устройство отображения) запрашивает у сервера другое сочетание фрагментов, оптимизированное под текущие области фокусировки пользователя.
Этот трюк позволяет продолжить бесперебойную потоковую передачу 360-градусного видео, уделяя максимум мощности тому, на что смотрит пользователь. Технология весьма схожа с фовеальным рендерингом в реальном времени, который позволяет максимально улучшить качество 3D-графики для VR пользователей. Как вы, должно быть, помните, фовеальный рендеринг гарантирует высокое качество картинки в центре поля зрения и низкокачественное (но всё же достаточно четкое) изображение на периферии.
Международная организация стандартов для мобильной телефонии 3GPP утвердила стандарт MPEG-OMAF для потоковой передачи VR в сети 5G. В свете этого, этот формат будет поддерживаться большинством стриминговых сервисов, которые транслируют 360-градусный контент.
Текущие 360-градусные VR видео, передаваемые через сеть 4G и даже Wi-Fi, как правило, страдают от целого ряда проблем: высокой задержки, низкого разрешения и визуальных артефактов, возникающих при сжатии. Все эти проблемы могут быть устранены при помощи внедрения нового стандарта и развертывания сети с более высокой пропускной способностью.
Исследователи из общества Фраунхофера демонстрируют новую технологию, используя комбинацию JavaScript, веб-браузера Safari от Apple, API WebGL для рендеринга и HEVC. Исходный код для проигрывателя JavaScript и инструкции по созданию совместимого со стандартами контента уже доступны на GitHub.
