Сучасні технологічні рішення зберігання даних у проєктах міського будівництва
DOI:
https://doi.org/10.32347/2412-9933.2025.63.167-173Ключові слова:
великі дані, технології зберігання даних, швидкодія операційного рівня, швидкодія аналітичного рівня, масштабованістьАнотація
Цифровізація будівельної галузі генерує величезні обсяги даних, що створює виклик для вибору оптимальної архітектури сховища. У статті проводиться порівняльний аналіз продуктивності трьох класів сучасних технологій зберігання даних: традиційної реляційної SQL-бази даних, глобально розподіленої NoSQL-бази даних (Cosmos DB) та технології «Озеро Даних» (Delta Lake). Метою є визначення їхньої придатності як сховища даних для проєктів міського будівництва. Включення до аналізу цих трьох технологій дозволяє виконати порівняльний аналіз сучасних рішень зберігання даних (Cosmos DB та Delta Lake) із традиційним рішенням для будівельних проєктів – SQL DB. Для цього було проведено кількісні тести, що імітують операції запису, читання та агрегації на наборах даних, обсяг яких варіювався від 10 тис. до 100 тис. рядків. Вимірювався час виконання для трьох типів навантажень: масовий запис, повне сканування та аналітична агрегація. Для оцінки використовується формальна модель, яка враховує як абсолютний час виконання (f1), так і коефіцієнт масштабованості (f2), що характеризує зміну продуктивності зі збільшенням обсягу даних. Результати показали, що жодна з технологій не є універсальним рішенням. Реляційна SQL-база даних демонструє найнижчу затримку для операційних запитів (час агрегації залишається мінімальним, зростаючи помірно від 10 мс до 110 мс). Водночас, Delta Lake показує найнижчі значення f1(t) та f2(t) для навантажень типу О1 (f1(t) має значення 3.47 мс при 10 тис. рядків до 32 мс при 100 тис. рядків; f2(t) має середнє значення ≈ 0.0004). Cosmos DB демонструє найбільші значення f1(t) для навантаження типу О1 – від 42 000 мс до 1 020 000 мс при 100 тис. рядків. На основі отриманих емпіричних даних обґрунтовано висновок про необхідність впровадження гібридної дворівневої архітектури, де SQL-база даних використовується для операційного рівня (OLTP), а технологія Delta Lake – для аналітичного рівня (OLAP). Така архітектура дозволить ефективно вирішувати як поточні, так і майбутні завдання з управління даними в будівництві. Робота спрямована на розробку гібридної дворівневої архітектури сховища даних для системи управління даними проєктів міського будівництва.
Посилання
Honcharenko, T., Khrolenko, V., Gorbatyuk, I., Liashchenko, M., Bodnar, N., & Sherif, N. H. (2024). Smart integration of information technologies for city digital twins. In 2024 35th Conference of Open Innovations Association (FRUCT) (pp. 253-258). IEEE.
Solovei, O., Honcharenko, T., & Fesan, A. (2024). Technologies to manage big data of urban building projects. Management of Development of Complex Systems, 60, 121–128. URL: https://doi.org/10.32347/2412-9933.2024.60.121-128.
Dolhopolov, S., Honcharenko, T., Savenko, V., Balina, O., Bezklubenko, I., & Liashchenko, T. (2023). Construction site modeling objects using artificial intelligence and BIM technology: A multi-stage approach. In 2023 IEEE International Conference on Smart Information Systems and Technologies (SIST) (pp. 174-179). IEEE.
Ohene, E., Nani, G., Antwi-Afari, M. F., Darko, A., Addai, L. A., & Horvey, E. (2024). Big data analytics in the AEC industry: scientometric review and synthesis of research activities. Engineering, Construction and Architectural Management. URL: https://doi.org/10.1108/ECAM-01-2024-0144.
Kulikov, P., Ryzhakova, G., Honcharenko, T., & Ryzhakov, D. (2020). Olap-tools for the formation of connected and diversified production and project management systems. International Journal of Advanced Trends in Computer Science and Engineering, 9 (5), 8670-8676.
Rana, M. (2025). A review of the impact of big data on smart cities. URL: https://doi.org/10.56557/jobari/2025/v31i29162.
Jamarani, A., Haddadi, S., Sarvizadeh, R., Haghi Kashani, M., Akbari, M., & Moradi, S. (2024). Big data and predictive analytics: A systematic review of applications. Artificial Intelligence Review, 57 (7), 176. URL: https://doi.org/10.1007/s10462-024-10811-5.
Hassan, I. (2024). Storage structures in the era of big data: from data warehouse to lakehouse. Journal of Theoretical and Applied Information Technology, 102 (6).
Azzabi, S., Alfughi, Z., & Ouda, A. (2024). Data lakes: A survey of concepts and architectures. Computers, 13 (7), 183. URL: https://doi.org/10.3390/computers13070183.
Schneider, J., Gröger, C., Lutsch, A., Schwarz, H., & Mitschang, B. (2024). The lakehouse: State of the art on concepts and technologies. SN Computer Science, 5 (5), 449.
Plazotta, M., & Klettke, M. (2024). Data architectures in cloud environments. Datenbank-Spektrum, 24 (3), 243–247. URL: https://doi.org/10.1007/s13222-024-00490-5.
Panda, S. P. (2024). Comparative analysis of azure cosmos DB vs. traditional RDBMS on cloud. Traditional RDBMS on Cloud (July 22, 2024). URL: https://doi.org/10.5281/zenodo.15481723.
Salqvist, P. (2024). A comparative study of the data warehouse and data lakehouse architecture.
Eswararaj, D., Nellipudi, A. B., & Kollati, V. (2025). A comparative study of delta parquet, iceberg, and hudi for automotive data engineering use cases. arXiv preprint arXiv:2508.13396. URL: https://doi.org/10.14445/23488387/IJCSE-V12I17P104.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Ольга Соловей
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
