Нейросеть, переводящую язык жестов, тестируют в Нижнем Новгороде

Виртуальный аватар способен показывать перевод с жестового языка на устную речь и обратно.

Павел Прохоров, руководитель проектов по доступным коммуникациям в лаборатории инклюзивных технологий при правительстве Нижегородской области: «В принципе, синхронных переводчиков жестовых языков в мире нет. Мы в этом плане такие новаторы. Начали с более простого, когда человек взаимодействует с искусственным интеллектом, со стендом, и ему выдаются уже заранее записанные инструкции».

В компьютер загружены пока 80 видеоответов. И нейросеть в зависимости от запроса выбирает, какой ответ предложить. Сейчас система уже умеет распознавать 1600 жестов. В лаборатории инклюзивных технологии при правительстве Нижегородской области систему тестирую те, кому она будет полезна.

В России нарушения слуха имеют около 13 млн человек. Полностью глухонемых только в Нижегородской области — более 9,5 тыс. человек. И поход в любое из социальных учреждений для них часто — задача невыполнимая. Искусственный интеллект в порядке эксперимента и только в одном отделении МФЦ в Нижнем Новгороде уже используется, но пока умеет вовремя сигнализировать о том, что что-то пошло не так.

Светлана Мусарская: «У нас в каждом из окошек в этом отделе стоят маленькие микрофончики. Это нам помогает и анализировать то, что происходит в окне, и выявлять эти триггеры, когда начинается какая-то некомфортная ситуация либо для нашего сотрудника, либо для заявителя».

Исключить конфликты полностью как раз и помог бы виртуальный переводчик. Но пока есть сложности.
Во-первых, язык глухонемых тезисный — простые формы в отличие от русского-делового с деепричастиями и канцеляризмами. А во-вторых, один и тот же жест может означать до пяти абсолютно разных слов. Все дело в контексте и диалектах жестов, и нейросеть пока не научилась понимать различия.

Главный вопрос всех, кто только погружается в проблему, разве нельзя просто дублировать все ответы текстом. Оказывается, нет. Людям, которые думают на языке жестов, письменная речь часто тоже чужда.