Управлінські аспекти навчання з підкріпленням для контролю інфекцій в Україні: Підхід на основі Q-навчання
DOI:
https://doi.org/10.32347/2412-9933.2026.65.88-96Ключові слова:
профілактика інфекцій, навчання з підкріпленням, Q-навчання, математичне моделювання, інфекційний контроль, оптимізація медичних ресурсівАнотація
Розглянуто критично важливе завдання оптимізації управлінських рішень для контролю поширення вірусних інфекцій – проблема, що набула глобального значення після пандемії COVID-19. Основною метою дослідження є розробка та впровадження системи на основі навчання з підкріпленням для динамічного управління обмежувальними заходами (такими як самоізоляція, масковий режим та закриття установ) задля мінімізації кількості критичних випадків за одночасного зменшення економічних і соціальних втрат. Методологія поєднує епідеміологічну модель SEIR із комплексною мультиагентною системою. Середовище моделювання складається з функціональних блоків, включаючи будівлі (будинки, школи, офіси, магазини та ресторани), та агентів, класифікованих за віком і соціальними ролями. Для оптимізації стратегій обмежень застосовано підхід Q-навчання. Функція винагороди для моделі навчання ретельно розроблена для збалансування трьох ключових цілей: мінімізації суворості обмежень, забезпечення плавних переходів між рівнями карантину та скорочення загальної кількості критично хворих пацієнтів. Система була протестована з використанням геопросторових і демографічних даних міста Києва (Україна) для симуляції популяції чисельністю приблизно 20 000 осіб. Було проаналізовано три сценарії: базовий без обмежень, сценарій із заздалегідь встановленими статичними обмеженнями та підхід динамічного управління на основі навчання з підкріпленням. Результати демонструють, що динамічна стратегія значно перевершує традиційні підходи. Зокрема, запропонована модель навчання з підкріпленням забезпечила зниження максимальної кількості критичних випадків у Києві на 14,43% порівняно зі сценарієм статичних обмежень. Крім того, дослідження надає візуалізацію динаміки інфекції на цифровій карті, що дозволяє спостерігати за переміщенням агентів та зміною їхніх станів (сприйнятливі, інфіковані, одужалі та критичні) у режимі реального часу. Отримані результати свідчать про те, що розроблена система є потужним інструментом для органів охорони здоров'я та державного управління під час планування ефективних превентивних заходів проти майбутніх епідеміологічних загроз. Попри обмежений час навчання, модель виявилася здатною до автономної генерації стратегій, що підкреслює її потенціал для адаптивного управління пандеміями.
Посилання
Viral disease. Wikipedia. Sep. 16, 2022. Accessed: Oct. 31, 2024. [Online]. Available: https://en.wikipedia.org/w/index.php?title=Viral_disease&oldid=1110529921
COVID-19 Coronavirus Infection. Public Health Center of Ukraine. Accessed: Oct. 31, 2024. [Online]. Available: https://phc.org.ua/kontrol-zakhvoryuvan/inshi-infekciyni-zakhvoryuvannya/koronavirusna-infekciya-covid-19
Impact of the coronavirus pandemic on the global economy - Statistics & Facts. Statista. Accessed: Oct. 31, 2024. [Online]. Available: https://www.statista.com/topics/6139/covid-19-impact-on-the-global-economy/#editorsPicks
SmythOS. Examples of Multi-Agent Systems in Action: Key Use Cases Across Industries. Accessed: Nov. 08, 2024. [Online]. Available: https://smythos.com/artificial-intelligence/multi-agent-systems/examples-of-multi-agent-systems/
Gressman, P. T., & Peck, J. R. (2020). Simulating COVID-19 in a university environment. Mathematical Biosciences, 328, 108436. https://doi.org/10.1016/j.mbs.2020.108436
Batista, B., Dickenson, D., Gurski, K., Kebe, M., & Rankin, N. (2020). Minimizing disease spread on a quarantined cruise ship: A model of COVID-19 with asymptomatic infections. Mathematical Biosciences, 329, 108442. https://doi.org/10.1016/j.mbs.2020.108442
Mettler, S. K., et al. (2021). The importance of timely contact tracing – A simulation study. International Journal of Infectious Diseases, 108, 309–319. https://doi.org/10.1016/j.ijid.2021.04.029
Xu, Z., Wu, B., & Topcu, U. (2021). Control strategies for COVID-19 epidemic with vaccination, shield immunity and quarantine: A metric temporal logic approach. PLoS One, 16 (3), e0247660. https://doi.org/10.1371/journal.pone.0247660
Engbert, R., Rabe, M. M., Kliegl, R., & Reich, S. (2021). Sequential Data Assimilation of the Stochastic SEIR Epidemic Model for Regional COVID-19 Dynamics. Bulletin of Mathematical Biology, 83 (1), 1. https://doi.org/10.1007/s11538-020-00834-8
Reinforcement learning. GeeksforGeeks. Accessed: Apr. 22, 2024. [Online]. Available: https://www.geeksforgeeks.org/what-is-reinforcement-learning/
Baz, D. E., & Doncescu, A. (2023). Fuzzy Multi-Agent Simulation of COVID-19 Pandemic Spreading. arXiv. https://doi.org/10.48550/ARXIV.2310.17986
Lazebnik, T., & Spiegel, O. (2023). Individual Variation Affects Outbreak Magnitude and Predictability in an Extended Multi-Pathogen SIR Model of Pigeons Vising Dairy Farms. arXiv. https://doi.org/10.48550/ARXIV.2310.08613
Deshkar, G., Kshirsagar, J., Hayatnagarkar, H., & Venugopalan, J. (2023). Epidemic Control on a Large-Scale-AgentBased Epidemiology Model using Deep Deterministic Policy Gradient. arXiv. https://doi.org/10.48550/ARXIV.2304.04475
Yang, Q., Chu, S. C., Pan, J. S., Chou, J. H., & Watada, J. (2024). Dynamic multi-strategy integrated differential evolution algorithm based on reinforcement learning for optimization problems. Complex and Intelligent Systems, 10 (2), 1845–1877. https://doi.org/10.1007/s40747-023-01243-9
Zhang, W., Valencia, A., & Chan, N. B. (2023). Synergistic Integration Between Machine Learning and Agent-Based Modeling: A Multidisciplinary Review. IEEE Transactions on Neural Networks and Learning Systems, 34 (5), 2170–2190. https://doi.org/10.1109/TNNLS.2021.3106777
Vyklyuk, Y., Nevinskyi, D., & Hazdiuk, K. (2024). Continuous-discrete GeoSEIR(D) model for modelling and analysis of geo spread COVID-19. Intelligence-Based Medicine, 10, 100155. https://doi.org/10.1016/j.ibmed.2024.100155
Vyklyuk, Y., Nevinskyi, D., Chopyak, V., Škoda, M., Golubovska, O., & Hazdiuk, K. (2023). A Managerial Approach towards Modeling the Different Strains of the COVID-19 Virus Based on the Spatial GeoCity Model. Viruses, 15 (12), 2299. https://doi.org/10.3390/v15122299
Vyklyuk, Y., Manylich, M., Škoda, M., Radovanović, M. M., & Petrović, M. D. (2021). Modeling and analysis of different scenarios for the spread of COVID-19 by using the modified multi-agent systems – Evidence from the selected countries. Results in Physics, 20, 103662. https://doi.org/10.1016/j.rinp.2020.103662
Vyklyuk, Y., Nevinskyi, D., & Boyko, N. (2023). GEOCITY – A NEW DYNAMIC-SPATIAL MODEL OF URBAN ECOSYSTEM. Journal of the Geographical Institute Jovan Cvijic SASA, 73 (2), 187–203. https://doi.org/10.2298/IJGI2302187V.
Allioui, H., et al. (2022). A Multi-Agent Deep Reinforcement Learning Approach for Enhancement of COVID-19 CT Image Segmentation. Journal of Personalized Medicine, 12 (2), 309. https://doi.org/10.3390/jpm12020309
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Денис Володимирович Невінський, Ярослав Ігорович Виклюк
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
