Российские ученые разработали нейросеть, которая понимает и переводит язык жестов. Ожидается, что виртуальный сурдопереводчик поможет клиентам в МФЦ заполнить документы и ответит на различные вопросы.
Виртуальный аватар способен показывать перевод с жестового языка на устную речь и обратно.
Павел Прохоров, руководитель проектов по доступным коммуникациям в лаборатории инклюзивных технологий при правительстве Нижегородской области: «В принципе, синхронных переводчиков жестовых языков в мире нет. Мы в этом плане такие новаторы. Начали с более простого, когда человек взаимодействует с искусственным интеллектом, со стендом, и ему выдаются уже заранее записанные инструкции».
В компьютер загружены пока 80 видеоответов. И нейросеть в зависимости от запроса выбирает, какой ответ предложить. Сейчас система уже умеет распознавать 1600 жестов. В лаборатории инклюзивных технологии при правительстве Нижегородской области систему тестирую те, кому она будет полезна.
В России нарушения слуха имеют около 13 млн человек. Полностью глухонемых только в Нижегородской области — более 9,5 тыс. человек. И поход в любое из социальных учреждений для них часто — задача невыполнимая. Искусственный интеллект в порядке эксперимента и только в одном отделении МФЦ в Нижнем Новгороде уже используется, но пока умеет вовремя сигнализировать о том, что
Светлана Мусарская: «У нас в каждом из окошек в этом отделе стоят маленькие микрофончики. Это нам помогает и анализировать то, что происходит в окне, и выявлять эти триггеры, когда начинается
Исключить конфликты полностью как раз и помог бы виртуальный переводчик. Но пока есть сложности.
Главный вопрос всех, кто только погружается в проблему, разве нельзя просто дублировать все ответы текстом. Оказывается, нет. Людям, которые думают на языке жестов, письменная речь часто тоже чужда.