Отслеживание глаз повышает реализм хирургических VR симуляторов

Аналитики прогнозируют, что виртуальная реальность способна произвести революцию в медицине. Области применения VR разнообразны: медицинское образование, хирургия, реабилитационная медицина, психиатрия и психология. И пока ученые еще только тестируют и исследуют эффективность симуляторов, разработчики уже предлагают надежные и передовые VR инструменты для обучения начинающих медработников.

Целью компании FundamentalVR всегда было предоставление медицинскому персоналу доступ к передовым AR/VR/MR симуляциям для оттачивания навыков. Команда постоянно ищет новые способы сделать VR симуляцию хирургических процедур максимально надежной, убедительной и эффективной. Недавно компания сделала значительный шаг к достижению этой цели благодаря отслеживанию глаз.

Обычно, когда говорят о важности отслеживания глаз для сферы виртуальной реальности, имеют в виду связь с фовеальным рендерингом и снижением нагрузки на графический процессор.

Отслеживание глаз как средство ввода часто уже упоминается в качестве побочного аспекта. Но благодаря платформе от Fundamental, которая была запущена в коммерческую эксплуатацию в начале этого года, эта технология становится удивительно полезным инструментом.

«Причина, по которой мы всегда хотели интегрировать отслеживание глаз, заключается в том, чтобы свести к минимуму движения головы, пока вы работаете в реальном мире. Это действительно важно», − говорит генеральный директор FundamentalVR Ричард Винсент.

«Мы отслеживаем движения глаз и то, куда направлен взгляд хирурга. Возможность получать данные трекинга глаз повышают точность опыта в отличие от отслеживания движений головы (что мы делали до сих пор). Это просто огромный шаг вперед».

Когда пользователь оперирует в опыте FundamentalVR, виртуальное окно дает ему подсказки. Взаимодействие с ним обычно требует, чтобы хирург отвлекся от операции. Теперь благодаря использованию VR гарнитуры Vive Pro Eye от HTC пользователь может быстро взглянуть на нужный вариант краем глаза, а затем вернуться к процедуре. Конечно, опыт все еще проходит не так гладко и бесшовно, как взаимодействие в реальных сценариях, но это действительно шаг вперед.

Внедрение технологии также улучшает возможности Fundamental в качестве платформы для аналитики и оценки. Винсент говорит, что это позволяет преподавателям более четко определить, на чем фокусируются студенты во время симуляций и как их улучшить в будущем.

Платформа FundamentalVR в целом является впечатляющим и реалистичным симулятором. Она используется в комплекте с контроллером в форме ручки, который удерживается роботизированной рукой. Аппарат создает сопротивление, когда пользователь надавливает инструментом на виртуальную кожу и различные виды человеческих тканей. Контроллеры печатаются на 3D-принтере. Благодаря этому их можно при надобности заменять для имитации специфических мединструментов и выполнения узкоспециализированных задач, что повышает реалистичность.

FundamentalVR не собирается останавливаться на достигнутом. Команда хочет создать универсальную платформу, которая работает практически с любыми гаптическими (тактильными) технологиями. Компания уже интегрировала поддержку перчаток HaptX (подробнее мы писали здесь), но на рынке таких устройств пока еще немного, и технически они весьма сильно отличаются друг от друга, что усложняет их внедрение в платформу.

«Сейчас пять или шесть действительно интересных компаний работают над гаптическими (тактильными) технологиями», − говорит Винсент. «И мы будем рады, когда они смогут добиться доступности на глобальном уровне при низких затратах. Но пока это невозможно».

Судя по всему, FundamentalVR расширяет свою деятельность в правильном направлении. Эта компания остается одним из воодушевляющих примеров полезной для общества виртуальной реальности, у которой есть все шансы стать мейнстримом и завоевать свое место в мировой экономике.