Инженеры Донского государственного технического университета (член Национальной ассоциации участников рынка робототехники) совместно с МГТУ «СТАНКИН» (также член НАУРР) разработали ПО, позволяющее промышленным роботам распознавать человеческие жесты. Проект, реализованный в рамках гранта Российского научного фонда, представляет собой полностью отечественную систему технического зрения. Это решение позволит российским коботам эффективно и безопасно работать в одном пространстве с человеком, не полагаясь на импортное программное обеспечение.

В основе технологии лежит ИИ-алгоритм, который одновременно обрабатывает данные с обычной RGB-камеры и датчика глубины. Такое совмещение данных позволяет системе сохранять точность даже при плохом освещении или запыленности в цеху, где обычная камера может давать сбои. ИИ анализирует взаимное расположение ключевых точек скелета человека в пространстве и времени, формируя цифровой дескриптор действий оператора.

Для повышения надежности распознавания исследователи применили модель логарифмической обработки изображений. Она делает систему устойчивой к визуальным помехам и гарантирует, что робот мгновенно и правильно отреагирует на команду. Разработка уже готова к внедрению на производствах, где требуется тесное взаимодействие персонала с автоматизированными манипуляторами, обеспечивая высокий уровень безопасности и интуитивно понятное управление техникой.