В Новосибирске создали преобразователь языка жестов в речь и наоборот

Российские ученые вновь поражают весь мир. В Новосибирске создали систему, которая преобразует язык жестов в текст или голос. Ничего подобного до сих пор не существовало.

В программу уже внесли больше тысячи знаков, но работа продолжается, система тестируется, но ей уже многие заинтересовались. С разработкой одним из первых познакомился Ярослав Богат.

Это наглядная демонстрация первой в мире программы по переводу с языка жестов. Зашифрованное в руках послание — превращается в цифровой код, а затем в обычные буквы, слова, предложения. Для чего это нужно, буквально на пальцах объясняет создатель проекта.

«Типичные глухие люди знают жесты и слова, но не всегда умеют их сопоставлять, бывает, знают жесты и не знают слова», — поясняет инженер Алексей Приходько.

Молодой ученый Алексей Приходько с рождения живет в тишине. Его программа, в перспективе может полностью снять языковой барьер между глухими и слышащими. Ситуаций, в которых возникает недопонимание десятки.

В период пандемии мир глухих и слабослышащих столкнулся с еще одной проблемой. Зачастую чтение по губам, это единственной способ, чтобы понять о чем говорит собеседник. Но как быть, когда на лице маска?

Новая разработка может перевести голос в жесты, и наоборот. Блокнот инженера — практически полностью в рисунках. Библиотека телодвижений, которую по словам глухих постоянно нужно пополнять. В каждом регионе свой диалект.

«Допустим, у нас колбаса, а у них колбаса. Колбаса вообще в каждом городе показывается по-разному. У всех почти не понял, не поняла. А у нас в городе, очень часто показывает не понял-не поняла», — говорит руководитель коллектива жестовой песни «Петербургская ЛекSема» Людмила Герман.

Их беззвучие всегда — заполнено общением и даже песнями. На русском… жестовом языке. А вот «русский» — в привычном понимании, практически для каждого из них — словно иностранный диалект. Ведь «родной» — этот то, на котором думаешь.

«Думают, конечно, на жестовом языке. Мозг связан полностью с руками. Хочется сказать какое-то слово, но обязательно при этом ты используешь жест».

Технология захвата движений, фиксирует десятки вариаций одного и того же жеста. С каждым днем программа будет распознавать все больше и больше обещают создатели. Мимика, моторика, эмоции — очень важно считывать безошибочно — поднятая бровь, может в корне изменить смысл.

«Качество распознавания и точность надо повышать, тем более, что жестов очень много. Пока мы эксперименты проводили где-то на ста жестах», — говорит профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.

Всего же их около десяти тысяч. И весь это жестовый словарь может вскоре оказаться в любом смартфоне. Приложения очень ждут. Гаджеты теперь могут еще больше облегчить жизнь глухих, в поликлиниках, транспорте, магазинах, банках.

«Если много народа то я пишу в телефоне. Если нет, то я скажу голосом», — поясняет участник коллектива «Петербургская ЛекSема» Диана Карабеджанова.

Свой цифровой код для перевода Алексей Приходько совершенствует каждый день. Его проект был удостоен президентского гранта — в десять миллионов рублей. Саму же программу инженер собирается разместить в свободном доступе.