AR может помочь людям понимать язык жестов

Студенты из Нью-Йорка разработали приложение, которое использует дополненную реальность и машинное обучение для перевода языка жестов в устную речь и наоборот. К сожалению, многие глухие люди вынуждены жить в достаточно изолированных условиях. Встречаться с людьми, выходить на прогулки, посещать кино, рестораны больницы и т.д. достаточно проблематично из-за того, что слышащее население в большей своей массе не владеет языком жестов.

Приложение ARSL использует модели компьютерного зрения для перевода языка жестов на устный язык и наоборот в режиме реального времени. Прототип приложения получил финансирование в рамках программы Verizon Connected Futures, которая была создана для развития тесного сотрудничества между университетами Нью-Йорка и компанией Verizon в целях продвижения инновационных технологий.

Команду ARSL возглавляет Чжунчэн Ли, который был вдохновлен своим опытом жизни с двумя глухими родителями. Рассказывая о своей матери, которая переехала в США из Гонконга, Ли отметил ее разочарование в связи с отсутствием универсального языка жестов.

Нужно изучить массу данных

На самом деле существуют сотни разных жестовых языков, используемых во всем мире. Это делает акт перевода между знаковыми языками сложной задачей, не говоря уже о переводе с жестовых языков на устные языки.

Приложение ARSL в настоящее время ограничено одним вариантом использования – назначение приёма в медицинской клинике. Расширение функциональности приложения представляется весьма сложной задачей.

Язык жестов является сложной системой движений рук и выражений лица, причем слова в предложениях часто идут в другом порядке, чем на английском языке. Добавьте в уравнение отдельные нюансы мимики и движений разных людей, и вы получите огромнейший массив данных, которые нужно изучить машине-переводчику.

Ли и его команда надеются, что полученное ими финансирование поможет им добавить в приложение целый ряд других сценариев. Они хотят адаптировать его для использования пациентами и персоналом в небольших медицинских клиниках. Большие медицинские учреждения и больницы обычно имеют в постоянном штате «живого» сурдопереводчика.

Кажется, однако, что до создания приложения для полноценного перевода жестовых языков нам ещё далеко.