56

Говорит и показывает: в Новосибирске изобрели электронный сурдопереводчик:

Ученые из Новосибирска разработали программное обеспечение для перевода звучащей речи на язык жестов. Используя приложение, слабослышащие инвалиды смогут общаться с обычными людьми. 

Резидент IT-инкубатора новосибирского Академпарка ООО «Сурдофон», работающее в составе УК «Ломоносов Капитал», создало устройство для перевода звучащей речи на язык жестов. Разработанная учеными программа сначала распознает звучащую речь, затем анализирует ее смысл и переводит на язык глухонемых. После чего анимационная кукла-аватар жестами показывает прозвучавший текст на экране монитора. Это решает основную проблему, с которой каждый день сталкиваются инвалиды по слуху, — как понять то, что им говорят окружающие.

Над решением этой задачи работали многие ученые. Но только новосибирским инноваторам удалось создать первый в мире работоспособный продукт.

Аналогов у нашего программного обеспечения, насколько нам известно, нет. 


В свое время был запущен проект по созданию компьютерного сурдопереводчика, который финансировала IBM. В нем принимали участие и российские специалисты. Но идея развития не получила. Последние известия о проекте были в 2007 году, и с тех пор о нем ничего не слышно. Думаю, они споткнулись о ключевую проблему, которую нужно было решить для реализации этой идеи, — как перевести смысл звучащей речи на язык жестов. Ее решение — технологическое ядро всех наших дальнейших разработок. Работа с семантическим блоком была самым сложным этапом. У нашей программы есть своя стратегия перевода — среди возможных вариантов она выбирает оптимальный. И делает это именно по правилам языка глухонемых, а не так, как обычно переводят на язык жестов: кто-то произнес какое-то слово — его показали. Люди, которые говорят на жестовом языке, не понимают такую речь.

  Андрей Старков, исполнительный директор УК «Ломоносов Капитал», SmartNews

Уже через полгода создатели планируют вывести революционный продукт на рынок. С его помощью может быть решен целый спектр более чем актуальных проблем. 

Самый очевидный вариант использования программы — создать плагин для телестудий. Телередакторы смогут загружать письменный текст передач, программа будет переводить его на язык жестов, а виртуальный сурдоперводчик в углу экрана телевизора переведет текст для зрителей с ограниченными возможностями.

Подавляющее большинство каналов на отечественном телевидении не утруждает себя сурдопереводом. И в итоге лишенные возможности слышать люди оказываются в информационном вакууме. Разве справедливо, что они не могут узнать, что им хочет сказать президент России?

 Инновационная разработка откроет инвалидам по слуху доступ на публичные лекции и выступления. Текст, который лектор или политик произносит в микрофон, после программной обработки можно будет синхронно выводить на большой экран. Что особенно важно, дети с ограниченными возможностями смогут не только полноценно воспринимать уроки в коррекционной школе, но даже посещать обычную школу.

То, как у нас сейчас проходят уроки в коррекционных школах для детей, лишенных слуха, — огромная проблема. Учителя не знают языка глухонемых, в классах работают сурдопереводчики. Грамотных специалистов катастрофически не хватает, возникают трудности перевода. В результате дети не могут понять, что им говорит учитель. О каком качестве обучения может идти речь? С таким образованием они не то что русский язык, даже язык жестов зачастую выучить нормально не могут.

   На следующем этапе создатели программы по сурдопереводу планируют создать desktop-приложение, которое позволит инвалидам по слуху пользоваться интернет-радио.

Одним из наиболее социально значимых результатов использования программы может стать установка в госучреждениях специальных коммуникаторов. Государственные служащие, к которым обращается инвалид по слуху, смогут с его помощью донести до него всю нужную информацию. Госслужащие будут произносить нужный текст в коммуникатор, а виртуальный переводчик на большом экране коммуникатора перескажет на языке глухонемых все, что они говорят. Это поможет решить поставленную государством стратегическую задачу – сделать государственные услуги доступными для всех слоев населения.

Сегодня инвалиды по слуху вынуждены при каждом обращении в государственное учреждение брать с собой сурдопереводчика. Максимум, на что они способны самостоятельно, – это отнести какую-нибудь справку. А вот с врачами, нотариусами, работниками ЖКХ, сотрудниками милиции, прокуратуры, суда, регистрационной палаты люди с ограниченными возможностями без посторонней помощи объясниться не могут. На сегодняшний день каждый инвалид по слуху по закону имеет право на 40 часов бесплатных услуг сурдопереводчика в год. Иметь-то он имеет, но вот только сурдопереводчиков на всех не хватает. Да и что такое 40 часов? Это очень мало. Приходится просить о помощи родственников, друзей. А если человек одинок? Или семья состоит из двух инвалидов по слуху? Что им тогда делать? Если новосибирская разработка поможет решить эту наболевшую проблему, то я считаю, ее создателям надо Нобелевскую премию дать!

По замыслу разработчиков программы, финальным этапом станет создание мобильного приложения для смартфона. Установив его, человек, лишенный слуха, сможет принять звонок – он будет преобразован в видеоизображение.

Вот такие фантастические перспективы открывает изобретение ООО «Сурдофон». И это только в первом приближении – с началом коммерческого использования программы наверняка появится множество новых идей, как и где ее применить.

Все идеи и технологии, использованные при разработке программного обеспечения по переводу на язык жестов, принадлежат российским ученым.

Единственное программное обеспечение, которое разработано не нами – это открытый сервис Google по переводу звучащей русской речи в письменную. Если раньше с ним возникали проблемы, то теперь оно работает все лучше и лучше. Ошибок при переводе устной речи в письменную практически нет. Все остальные разработки – наше ноу-хау. И главной проблемой было, разумеется, создание программного обеспечения для перевода письменного текста в язык жестов. Это наша главная ценность, то, на чем базируются все последующие разработки. Ведь в чем здесь сложность? Нужно сохранить семантику предложений и одновременно вычленить наиболее значимую информацию, чтобы минимизировать количество движений аватара-переводчика. Анализ текста основан на принципах математической лингвистики и состоит из трех основных этапов. Первый – синтаксический, на котором анализируется структура предложения. Второй – морфологический, когда вычленяются корни слов. Третий — сопоставление корней со словарем словоформ языка глухонемых, который на данный момент включает в себя порядка 110 000 слов, поиск аналогов в словаре жестов. Огромные сложности при переводе создает то, что русский разговорный язык и язык жестов основаны на совершенно разных принципах. У них разный синтаксис. Когда мы говорим, мы можем употреблять слова практически в любом порядке. А в языке жестов порядок слов жестко закреплен.

Много времени и усилий ушло у новосибирских ученых и на создание виртуального сурдопереводчика. Первоначально использовалась готовая компьютерная кукла, но как выяснилось, она не совсем подходила для перевода на язык глухонемых.

Готовая виртуальная кукла-переводчик была недостаточно управляемой. Поэтому мы создали собственного аватара, который может работать на разной скорости, у него более проработанные жесты, и особенно пальцы. Это очень важно при передаче языка глухонемых. Потом нам пришлось работать над совершенствованием системы нотаций – системы описания жестов. Таких систем несколько, мы использовали Гамбургскую Систему Нотаций (HamNoSys). Оказалось, этого языка описания пока не хватает, чтобы передать реальные жесты живого переводчика. Поэтому мы поставили цель расширить систему нотаций и достигли ее.

  Евгений Гайслер, директор УК «Ломоносов Капитал», SmartNews

 

  • 2
    Samboris
    27.08.1320:32:46
    +! Респект и уважуха!!!    Кстати, на днях исполнилось 25 лет со дня основания Всероссийского общества инвалидов.
  • 3
    Нет аватара
    27.08.1320:46:10
    Это настолько невероятно сложно, что даже с трудом верится, что правда.
    "+"
    Буду следить за тем, чем всё это закончится. Полгода, как мне кажется, - нереальный срок.
    Люди готовы и будут ждать и больше. Главное, чтобы это не оказалось мыльным пузырём.
  • 0
    Orlan05
    28.08.1300:54:48
    + фантастика!
  • -3
    Александр Богомолов
    28.08.1300:54:57
    Модель рипнута из Left 4 Dead....Зоя. Об уровне разработчиков это говорит сразу...Не стыдно создателям, нет? Ужас...если нет денег, кинули бы уже клич на форумах, сделали бы красотку бесплатно в конце-концов...
    • 1
      pticekrolik
      28.08.1301:22:49
      Чушь - для прототипа более чем нормально быть собранным из подручных материалов.
      Ужас был бы, если бы наоборот - стали бы вылизывать внешнюю обертку раньше, чем содержание.
      • -1
        Александр Богомолов
        28.08.1302:07:49
        Вы не понимаете о чем речь, и не цените труд, как таковой. Я 3D дизайнер, мне было бы неприятно, если бы кто-то рипнул из продукта мои модели или скачал их из инета. Это самая обычная жадность. Но дело ваше - хотите оправдывать воровство - пожалуйста. Вам с этим жить. И однажды украдут у вас же
        • -1
          pticekrolik
          28.08.1302:55:55
          А, вы об этом. Тогда да, вы правы. Отчасти, потому что насчет "уровня" все же, ИМХО, погорячились. Нехорошо, конечно, с аватаром вышло, но к уровню изобретения это отношения не имеет
        • 1
          Нет аватара
          28.08.1309:18:47
          Тобишь если вы сделаете для кого-то на заказ модельку, получите оплату за работу, вам будет обидно, если у вашего заказчика её рипнут? Ваше то дело какое до её судьбы? Вы оплату получили, на этом ваша работа окончена)
          Кроме того в конечном продукте её никто использовать не собирается, при нормальном риггинге моделька за несколько кликов меняется. Да и смысл при разработке прототипа тратить время и средства на заказ модели, когда еще нет уверенности в жизнеспособности проекта?
          Вам бы было неприятно, еслиб ваша моделька поучаствовала в прототипе сурдопереводчика для глухих?
          Отредактировано: Дмитрий Степанов~09:20 28.08.13
        • 0
          Нет аватара
          28.08.1309:55:02
          если бы кто-то рипнул из продукта
          мои модели или скачал их из инета.
          Твои они будут только если продукт твой. Хочешь сказать ты владелец valve?
    • 0
      Нет аватара
      28.08.1317:52:46
      Насколько я понимаю, Зоя - это та, что на картинке к посту? Взята для конкретной картинки - согласен. Косяк вышел. Но на самом рабочем прототипе другая модель, видно на видео к новости. Разработчики могут даже не знать о Зое. Может какой горе-дизайнер «помог». Зачем сразу обвинять всех и вся    
  • 1
    Русский Парень
    28.08.1301:13:19
    На фоне гонки за прибылЯми забота о человеке выглядит особо привлекательно. Авторы - настоящие люди!
  • Комментарий удален
  • 0
    Нет аватара
    28.08.1302:03:40
    Это приложение сначала должно распознать речь, потом перевести текст на язык жестов (что всегда связано с потерей информации и искажениями) и только потом показать эти жесты. А не проще ли сразу показать сам текст? И быстрее, и искажений меньше.
    • 2
      Нет аватара
      28.08.1311:02:09
      Язык жестов воспринимается быстрее, чем надписи. Пытались дублировать речь в новостных программах бегущей строкой. Чтобы выводить текст синхронно речи требовалась такая скорость бегущего текста, что большая часть людей читать не успевала.
      А язык жестов читают.
  • -1
    Нет аватара
    28.08.1302:12:22
    Кто знает, существуют системы для немых людей, где человек вводит текст аккордовой клавиатурой, а динамик этот текст озвучивает? Вот это было бы реально полезно.
  • Комментарий удален
  • 0
    Нет аватара
    30.08.1318:21:22
    "+" головастым землякам!
Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,