Valve: VR гарнитуры будущего будут оснащены мозговым интерфейсом

Штатный психолог-экспериментатор Valve доктор Майк Амбиндер выступил на GDC 2019 с докладом о разработках в сфере нейрокомпьютерных интерфейсов (интерфейс «мозг — компьютер», BCI) и их влиянии на будущее геймдизайна. В своем выступлении Амбиндер рассказал о ближайшем будущем, в котором VR/AR гарнитуры будут оснащены неинвазивными электроэнцефалограммными устройствами. Они смогут предоставлять разработчикам данные, чтобы те смогли создать новое поколение игр. По мнению психолога, долгосрочная перспектива определенно демонстрирует тенденцию к нейронным имплантатам.

Амбиндер объяснил, что для понимания того, что происходит с геймером во время игры, важны многие из традиционно измеряемых показателей, таких как сердечный ритм, гальваническая реакция кожи, движения глаз, выражение лица, мышечное напряжение и физическая осанка (подробнее здесь). Однако согласно его утверждению, наиболее перспективным направлением для разработчиков игр является работа непосредственно с мозгом.

Интерфейс «мозг − компьютер» − это метод связи, который преобразует нейронные сигналы в данные для компьютеров. В игровом контексте цель состоит в том, чтобы получить от игрока физиологические данные и использовать их для информирования игры о настроении и состоянии игрока: возбужден ли он, расстроен, раздражен, сосредоточен или отвлечен и т.д. Эти данные можно будет использовать для оптимизации и улучшения игры, исправления ошибок.

«Мы можем измерить реакцию на внутриигровые стимулы. Мы не всегда получаем достоверные данные, поэтому ищем способы, как это сделать. Подумайте о том, что бы вы хотели узнать о своих игроках. Прямо сейчас с текущей технологией, нынешними аналитическими возможностями и экспериментами уже имеется довольно длинный список доступных данных», − сказал Амбиндер.

Мгновенная фиксация когнитивного состояния пользователя может обеспечить своего рода адаптивный, иммерсивный игровой процесс, например: переменную сложность геймплея, смену реакции ИИ с учетом мышления игрока и даже замену традиционных систем ввода.

В ближайшей перспективе Амбиндер рассматривает неинвазивную электроэнцефалограммную систему в качестве самого простого способа начать сбор психологических данных и преобразовывать их в полезные для игровых разработчиков сведения. В такой системе электроды размещаются на различных точках кожи головы и используются для измерения колебаний напряжения нейронов головного мозга. Амбиндер надеется, что нейроданные, которые ранее были предметом исключительно научных исследований, встанут на службу игровому дизайну. Однако он не намерен заставлять пользователей носить полный ЭЭГ шлем с 35 электродами, а привлечь к задаче AR/VR.

 «Если вы намерены измерять сигналы мозга, то вам нужно найти способ, чтобы заставить людей носить шлем. Вот если бы только у нас, геймдизайнеров, был способ сделать это», − в шутку сказал Амбиндер, показывая слайд с гарнитурой HTC Vive. «Одно из преимуществ AR и VR − это постоянный контакт с источником мозговой активности. Если получится убедить пользователей носить шлем с ЭЭГ датчиками, то можно добиться интересных результатов».

Такие компании, как Neurable, уже начали производство ЭЭГ устройств, специально разработанных для работы с VR гарнитурами, давая возможность «управлять программным обеспечением и устройствами, используя только свою мозговую активность».

Тем не менее, ЭЭГ данные также не являются идеальным решением, так как фиксация нейросигналов производится через череп, кожу головы и волосы, которые создают помехи. Для получения более глубоких знаний и разработки более иммерсивных адаптивных игр, вероятно, потребуется использование инвазивных мозговых имплантов. Но для этого придется сначала усовершенствовать процедуру имплантации и минимизировать риск для пользователей.

На данный момент компании нечего анонсировать или демонстрировать в сфере нейрокомпьютерных интерфейсов. Также в планах нет потребительской VR гарнитуры с ЭЭГ системой. Однако Valve продолжит разрабатывать эту идею в исследовательских целях для совершенствования геймдизайна и обучающих программ. Разработки все еще находятся на ранней стадии и потребуют немало времени, а также большой пользовательской базы для сбора данных.