Google патентует технологию фовеального сжатия

Google от корпорации Alphabet подал патентную заявку на систему сжатия, специально разработанную для кадров, созданных при помощи фовеального рендеринга.

О фовеальном рендеринге мы писали неоднократно. Это процесс, который визуализирует большую часть изображения VR гарнитуры с более низким разрешением, за исключением небольшой области, на которую направлен взгляд пользователя. Направление взгляда определяется с помощью технологии отслеживания глаз. Эта область наибольшей концентрации восприятия визуализируется со значительно более высоким разрешением.

Фовеальный рендеринг считается критически важным для дальнейшего развития виртуальной реальности, поскольку он делает возможными более высокие разрешения без непомерных требований к мощности графического процессора.

Так зачем сжимать кадр? Почему бы просто не отправить на гарнитуру результат рендеринга таким, каким он создавался изначально?

Патент объясняет, что в автономной гарнитуре линии передачи данных от SoC (система на кристалле) до дисплея имеют ограниченные показатели пропускания. Увеличение этой пропускной способности сильно повлияет на потребление энергии. Такие спецификации, как DisplayPort, уже включают в себя дополнительную систему сжатия, однако алгоритмы, лежащие в ее основе, не были рассчитаны на наличие в одном кадре элементов с различной остротой отображения.

Описанная новая система сжатия отдает приоритет элементам в области высокой детализации, где картинка должна передаваться «практически без потерь». Судя по патенту, объединение изображений с высокой и низкой детализацией без видимых визуальных артефактов потребует специального чипа. К счастью, этот чип описан как «относительно простой».

Хотя заявка на патент была опубликована на этой неделе, дата ее подачи − июль 2017 года. Патент, по-видимому, основан на статье команды Google Research, которая была опубликована в конце 2017 года и озаглавлена «Foveated Compression and Transmission».

Проект возглавлял доктор Бенам Бастани, который руководил всей исследовательской работой Google в сфере визуализации виртуальной реальности. В 2018 году Бастани перешел в Facebook, чтобы работать в отделе FRL во главе с Майклом Абрашом. Его уход является частью хорошо прослеживаемой тенденции значительного оттока VR талантов из Google и Microsoft в Facebook.