Facebook исследует сканирование мозга в качестве устройства ввода для AR очков

Исследовательское AR/VR подразделение Facebook разрабатывает неинвазивную технологию сканирования мозга в качестве потенциального устройства ввода данных для своих будущих AR очков.

Хотя Facebook еще не анонсировал AR очки как конкретный продукт, компания подтвердила, что разрабатывает их. В начале этого года ходили слухи, что текущий прототип уже «напоминал традиционные очки». На днях в своем блоге Facebook описал свою конечную цель как «совершенный форм-фактор пары стильных очков дополненной реальности».

Однако основной проблемой при создании потребительских AR очков является метод ввода. Традиционный контроллер, такой как те, что используются во многих VR устройствах, не подходит для очков, которые пользователи будут носить на улице. И хотя распознавание голоса в настоящее время является уже зрелой технологией, люди, как правило, не хотят давать устройству громкие команды (иногда личного характера) рядом незнакомцами.

Интерфейс «мозг-компьютер» (нейрокомпьютерный интерфейс, НКИ) может дать пользователям возможность управлять своими очками и даже вводить слова и предложения, просто думая о нужной команде.

«Возможно, через десять лет способность набирать текст напрямую из нашего мозга будет восприниматься как нечто само собой разумеющееся», − говорится в сообщении в блоге. «Не так давно это звучало как научная фантастика. Теперь он выглядит вполне правдоподобно».

Инвазивный способ даже не рассматривается

Почти все высокоэффективные варианты НКИ сегодня являются инвазивными: для них требуется установка электродов в мозгу при помощи операции. Стартап Илона Маск, Neuralink, планирует использовать робота для помещения крошечных «ниточек» в мозг. Однако это совершенно непрактичный вариант для продукта массового рынка.

Программой нейрокомпьютерных интерфейсов в Facebook руководит ​​Марк Шевилле, который имеет докторскую степень в области неврологии и ранее был профессором на факультете неврологии Университета Джона Хопкинса. Там он работал над проектом по созданию устройства связи для людей, которые не могут говорить.

Инвазивное доказательство реальности концепции

Прежде чем понять, как читать мысли неинвазивно, доктору Шевилле нужно было в первую очередь выяснить, возможно ли это в принципе. Он обратился к Эдварду Чангу, коллеге и нейрохирургу из Калифорнийского университета в Сан-Франциско.

Чтобы доказать, что концепция возможна, исследователи из Калифорнийского университета использовали инвазивную электрокортикографию и смогли получить интересные результаты. При считывании высказываний, о которых думали испытуемые, точность достигала 76%.

Предыдущие исследовательские проекты достигли этого при оффлайн обработке данных, но этот результат был достигнут в режиме реального времени. В настоящее время система может определять только ограниченный словарный запас слов и фраз, но исследователи работают над ее совершенствованием.

Визуализация в ближней инфракрасной области

Чтобы достичь аналогичных результатов без имплантации электронов в мозг, потребуются новые технологии и научные прорывы. Facebook сотрудничает с Вашингтонским университетом и Университетом Джона Хопкинса в ходе исследования визуализации в ближней инфракрасной области.

Если посветить красным светом на свой палец, то вы заметите, что свет проходит его насквозь. Исследователи используют эту концепцию, чтобы считывать «сдвиги уровня кислорода в мозге». Эти сдвиги вызываются нейронами при потреблении кислорода, что является косвенным признаком мозговой активности.

Текущий прототип НКИ описывается как «громоздкий, медленный и ненадежный». Но Facebook надеется: если он когда-нибудь сможет распознавать даже несколько фраз, таких как «домой», «выбрать» и «удалить», то в сочетании с другими технологиями, такими как отслеживание глаз, он сможет стать эффективным решением ввода данных для будущих AR очков.

Прямая клеточная визуализация

Если визуализации оксигенации крови в ближней инфракрасной области окажется недостаточно, то Facebook также изучает методы прямой визуализации кровеносных сосудов и даже нейронов:

«Благодаря коммерциализации оптических технологий для смартфонов и LiDAR мы считаем, что сможем создавать небольшие удобные устройства нейрокомпьютерных интерфейсов. Они позволят нам измерять нейронные сигналы на приблизительно том же уровне, которого мы в настоящее время достигаем с помощью имплантированных электродов. Возможно, однажды даже получится декодировать беззвучную речь. Это может занять десятилетие, но мы думаем, что сможем преодолеть разрыв».

Конфиденциальность и ответственность

Конечно, идея того, что Facebook буквально будет читать мысли пользователя, сразу же вызывает массу вопросов касательно конфиденциальности. Такие данные могут быть использованы для беспрецедентно навязчивой целевой рекламы или даже в более подлых целях.

«Мы многому уже научились», − говорит Шевилле. «Например, в начале программы мы попросили наших коллег поделиться с нами не-идентифицированными электродными записями пациентов с эпилепсией, чтобы мы могли проверить, как работает их программное обеспечение. Хотя это очень распространенная практика в исследовательском сообществе и в настоящее время требуется в некоторых журналах, в качестве дополнительного уровня защиты, мы больше не получаем записи данных с мозговых электродов».

«Мы не можем предвидеть или самостоятельно решить все этические проблемы, связанные с этой технологией», − продолжает Шевилле. «Единственное, что мы можем сделать, это распознать момент, когда технология выйдет за пределы того, что люди считают возможным. После этого мы должны убедиться в том, что полученная информация будет доведена до сведения сообщества. Нейроэтический дизайн является одним из ключевых столпов нашей программы. Мы хотим показать прозрачность своей деятельности, и чтобы люди могли рассказать нам о своих опасениях по поводу этой технологии».