Система розпізнавання динамічних жестів рук у реальному часі на периферійних пристроях

І. Я.  Казимира; В. В.  Цапів

doi:10.36910/6775-2524-0560-2025-59-17

І. Я. Казимира https://orcid.org/0000-0003-1597-5647
В. В. Цапів https://orcid.org/0009-0008-2420-7483

DOI: https://doi.org/10.36910/6775-2524-0560-2025-59-17

Ключові слова: розпізнавання жестів в реальному часі, взаємодія людина-комп'ютер, динамічні жести рук, глибоке навчання, комп'ютерний зір, периферійні пристрої

Анотація

У даній роботі представлено систему розпізнавання динамічних жестів рук у реальному часі, призначену для ефективної взаємодії з інтелектуальними пристроями та безконтактними інтерфейсами, зокрема на периферійних пристроях. Розроблена система інтегрує Google Mediapipe для визначення пози рук, який є достатньо легким для запуску на мобільних пристроях, з модифікованою архітектурою DD-Net, оптимізованою для онлайн класифікації жестів з використанням 2D та 3D даних. Ключові нововведення включають впровадження допоміжної класифікаційної гілки для вирішення проблеми дисбалансу класів та механізму уваги для покращення розпізнавання частково спостережуваних жестів. Розроблена система була протестована на наборах даних NVGesture та SHREC22, досягнуто точності 0.784 та 0.924, відповідно, що перевищує попередні результати. Експериментальні результати демонструють високу ефективність запропонованого підходу у задачах розпізнавання жестів в реальному часі, зокрема на мобільних платформах. Показано, що використання 3D даних та механізму уваги дозволяє значно покращити точність розпізнавання, особливо для складних та частково видимих жестів. Запропонована система може бути використана в широкому спектрі застосувань, включаючи системи віртуальної та доповненої реальності, робототехніку та безконтактні інтерфейси на периферійних пристроях

Посилання

1. Iqbal, M.Z., Campbell, A.G. (2021). From luxury to necessity: Progress of touchless interaction technology. Technology in Society. Volume 67, November 2021, 101796. https://doi.org/10.1016/j.techsoc.2021.101796
2. Teslyuk, V., Chornenkyi, V., Tsapiv, V., & Kazymyra, I. (2024). Investigating hand gesture recognition models: 2D CNNs vs. visual transformers. CEUR Workshop Proceedings. Vol. 3688: Proc. of the 8th Int. conf. on computational linguistics and intelligent systems. Vol. III: Intelligent systems workshop. Lviv, Ukraine, Apr. 12-13, 2024, 29–38. CEUR-WS.org.
3. Tsapiv, V., & Kazymyra, I. (2024). Gesture Control in Real-time: a framework for 3D hand pose recognition for smart devices and touchless interfaces. In 1st International Scientific and Practical Conference on Computational Intelligence and Smart Systems, 126–128.
4. Zhang, W., Lin, Z., Cheng, J., Ma, C., Deng, X., & Wang, H. (2020). STA-GCN: two-stream graph convolutional network with spatial–temporal attention for hand gesture recognition. The Visual Computer, 36(10–12), 2433–2444.
5. Do, N.-T., Kim, S.-H., Yang, H.-J., & Lee, G.-S. (2020). Robust hand shape features for Dynamic Hand Gesture Recognition using multi-level feature LSTM. Applied Sciences (Basel, Switzerland), 10(18), 6293.