Розробка застосунку для взаємодії з комп’ютером за допомогою жестів з використанням технологій ComputerVision

Н.О. Міронов; Л.М. Самчук

doi:10.36910/6775-2524-0560-2025-58-10

Н.О. Міронов
Л.М. Самчук https://orcid.org/0000-0003-2516-045X

DOI: https://doi.org/10.36910/6775-2524-0560-2025-58-10

Ключові слова: розпізнавання жестів, безконтактна взаємодія, комп’ютерний зір, машинне навчання,Python, MediaPipe, OpenCV, безконтактна взаємодія, обробка зображень, відеопотік, управління і виконання функціймиші, крос-платформність, адаптивні алгоритми

Анотація

У роботі досліджено методи безконтактного керування комп’ютером за допомогою жестів рук на основі технологій комп’ютерного зору та машинного навчання. Наведено приклади застосування технологій в різних сферах життя, де вони показують переважну ефективність та зручність над традиційними інтерфейсами взаємодії з системою. Описано засоби та інструменти, використані під час розробки програмного застосунку. Запропоновано модульну архітектуру системи, яка забезпечує розпізнавання жестів у реальному часі, включаючи сегментацію зображень, відстеження ключових точок руки та класифікацію рухів. Реалізовано функціонал для переміщення курсора, виконання лівих та правих кліків, подвійних клацань, прокручування сторінок і регулювання гучності. Результатом роботи є програмний продукт, який підтримує переміщення курсора миші, лівий і правий кліки, подвійний клік, перетягування об’єктів, скролінг та регулювання гучності. Проведено тестування як функціонування основних команд застосунку, так і роботи на різних апаратних конфігураціях в реальному часі. Запропоновано рішення для вдосконалення надалі й розширення функціоналу програмного забезпечення.

Посилання

1. Mr.E.Sankar, B.Nitish Bharadwaj, A.V.Vignesh.Virtual Mouse Using Hand Gesture. International Journal of Scientific Research in Engineering and Management. Vol. 7. No. 5. May 2023. P. 2-4.
2. P. J. Ezigbo, O. C. Nosiri, E. S. Mbonu, V. Ofor, J. Obichere. Hand Gesture Recognition and Control for Human-Robot Interaction Using Deep Learning. International Journal of Electrical and Electronic Engineering&Telecommunications.Vol. 12.No. 6.November 2023.P. 433-441.
3. Міронов Н. О., Самчук Л. М. Дослідження характеристик та медотології системи розпізнавання жестів для безконтактної взаємодії з комп’ютером з використанням технологій ComputerVision. Комп’ютерно-інтегровані технології: освіта, наука, виробництво, Луцьк, 2024. № 57. С. 115-118.
4. S. Shriram, B. Nagaraj, J. Jaya, S. Shankar, P. Ajay. Deep Learning-Based Real-Time AI Virtual Mouse System Using Computer Vision to Avoid COVID-19 Spread. Journal of Healthcare Engineering. 2021. P. 4-7.
5. Mahmoud, Nourelhoda, Fouad, Hassan, Soliman, Ahmed. Smart healthcare solutions using the internet of medical things for hand gesture recognition system. Complex&IntelligentSystems. 2020. P. 7-12.