Метод визначення типу фізичної вправи за послідовністю поз людини
DOI:
https://doi.org/10.32347/2412-9933.2023.56.56-63Ключові слова:
штучний інтелект, машина станів, нейронні мережі, комп'ютерний зір, пози людиниАнотація
За останнє десятиріччя значні ресурси були спрямовані міжнародними компаніями та дослідницькими установами на розвиток нейронних мереж для комп'ютерного зору, що визначають послідовності поз людини за відео. Оскільки ці дані не можуть бути використані людиною безпосередньо і потребують попередньої обробки, з'явилася потреба в універсальних методах обробки послідовності поз людини. Зміст та структура вихідного сигналу обробки послідовності поз залежить від кінцевої задачі системи й у більшості випадків не є універсальними. Універсальні методи обробки, що можуть використовуватись для різних задач, є особливо цінними. У статті описується метод обробки вихідного сигналу нейронної мережі, що уможливлює визначити тип фізичної вправи за послідовністю поз людини. Цей метод є доволі універсальним і може використовуватися самостійно або як один з етапів розв’язання користувацької задачі. Одним з прикладів застосування методу є автоматичне вимірювання тривалості виконання вправ протягом сеансу зайняття спортом. Іншим прикладом є визначення типу вправи в разі, коли ця проміжна інформація потрібна перед застосуванням алгоритмів підрахунку кількості ітерацій цієї вправи.
Посилання
Broyda, Juliy. Quantitative method of calculating iterations of exercises on the basis of output signal of the neural network. Management of Development of Complex Systems (in Ukraine) (44 – 2020); 65 – 69, DOI: https://doi.org/10.32347/2412-9933.2020.44.65-69.
Qiu S. et al., «Multi-sensor information fusion based on machine learning for real applications in human activity recognition: State-of-the-art and research challenges» Inf. Fusion, vol. 80, pp. 241 – 265, Apr. 2022. DOI: https://doi.org/10.1016/j.inffus.2021.11.006.
Chen K., Zhang D., Yao L., Guo B., Yu Z. & Liu Y., Deep Learning for Sensor-based Human Activity Recognition. ACM Comput. Surv., vol. 54, no. 4, p. 1–40, Jul. 2021. DOI: https://doi.org/10.1145/3447744.
Jiang S., Kang P., Song X., Lo B., & Shull Р. B., Emerging Wearable Interfaces and Algorithms for Hand Gesture Recognition: A Survey, IEEE Rev. Biomed. Eng., vol. 15, p. 85–102, 2021. DOI: 10.1109/RBME.2021.3078190.
Sakshi, P. Das, S. Jain, C. Sharma, & V. Kukreja, «Deep Learning: An Application Perspective», in Lecture Notes in Networks and Systems, (LNNS, vol 291) 2021, p. 323–333. DOI: 10.1007/978-981-16-4284-5_28.
Andrej Karpathy, George Toderici, Sanketh Shetty, Thomas Leung, Rahul Sukthankar & Li Fei-Fei. «Large-Scale Video Classification with Convolutional Neural Networks». In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014. DOI: 10.1109/CVPR.2014.223.
Kaixuan Chen, Dalin Zhang, Lina Yao, Bin Guo, Zhiwen Yu & Yunhao Liu. «Deep Learning for Sensor-based Human Activity Recognition» Overview, Challenges and Opportunities, 54 (4), 2021. DOI: https://doi.org/10.1145/3447744.
Tam Huynh & Bernt Schiele. «Analyzing features for activity recognition» ACM International Conference Proceeding Series, (october):159–164, 2005. DOI: 10.1145/1107548.1107591.
Dr. Milon Islam, Sheikh Nuruddin, Fakhri Karray. & Ghulam Muhammad. «Human Activity Recognition Using Tools of Convolutional Neural Networks: A State of the Art Review, Data Sets, Chal-lenges and Future Prospects» Computers in biology and medicine. Vol. 149, October DOI: https://doi.org/10.1016/j.compbiomed.2022.106060.
A Comprehensive Study of Deep Video Action Recognition. 2020. URL: https://arxiv.org/abs/2012.06567. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2012.06567.
Real-Time Activity Recognition and Intention Recognition Using a Vision-based Embedded Sys-tem. 2021. URL: https://arxiv.org/abs/2107.12744. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.2107.12744.
Ching-Hang Chen, Deva Ramanan: 3D Human Pose Estimation = 2D Pose Estimation + Match-ing. 2016. URL: https://arxiv.org/abs/1612.06524. (Accessed: 20.06.2023). DOI: https://doi.org/10.48550/arXiv.1612.06524.
Blaze Pose: On-device Real-time Body Pose tracking. 2020. URL: https://arxiv.org/abs/2006.10204. (Accessed: 20.06.2022). DOI: https://doi.org/10.48550/arXiv.2006.10204.
Hao Wang, Ming-hui Sun, Hao Zhang & Li-yang Dong. «LHPE-nets: A lightweight 2D and 3D-human pose estimation model with well-structural deep networks and multi-view pose sample simplifica-tion method» PLOS ONE; February 23, 2022. DOI: https://doi.org/10.1371/journal.pone.0264302.
Misek J., Jankosek M. & Pajdla T. (2013). 3D using Kinect. In: Fosati A, Gall J, Grabner H, Ren H, Konolige K (eds) Consumer cameras for computer vision. Advances in computer vision and pattern learning. Springer, London. DOI: https://doi.org/10.1007/978-1-4471-4640-7_1.
John D. Hunter. Matplotlib: 2D-graphics environment. Computing in Science and Technology. 2007. Vol. 9(3): 90–95. DOI: 10.1109/MCSE.2007.55.
Yannakakis, M. (2000). «Hierarchical finite state machines». In: van Leeuwen J., Watanabe O., Hagiya M.,
Mosses P. D., Ito T. (eds). Theoretical computer science: exploring new frontiers of theoretical computer science. TCS 2000. Lecture Notes in Computer Science, Vol. 1872. Springer, Berlin, Heidel-berg. DOI: https://doi.org/10.1007/3-540-44929-9_24.
Zamanirad S., Benatallah B., Rodrigues C., Yagubzadefard M., Bugelia S. & Brabra H. (2020). «Model and services of dialogue between a person and a bot based on a finite state machine» In: Dustdar S., Yu. E., Salinesi K., Rie D., Pant V. (eds). Advanced information systems engineering. CAiSE 2020. Lecture Notes in Computer Science (), Vol. 12127. Springer, Cham. https://doi.org/10.1007/978-3-030-49435-3_13.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2024 Олена Данченко , Юлій Бройде
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
