Процес підтримки прийняття рішення для налаштування Apache Kafka-продюсера
DOI:
https://doi.org/10.32347/2412-9933.2025.61.170-179Ключові слова:
Kafka–топік, дискретна мережа Байєса, параметри мережі Байєса, аналіз чутливості, апостеріорна ймовірністьАнотація
Предметом статті є методи підтримки прийняття рішень щодо визначення конфігурації Apache Kafka-кластера для забезпечення високої пропускної здатності повідомлень від Kafka-продюсера до Kafka-споживача, що є однією з ключових вимог для інформаційних технологій управління різнорідними даними проєктів міського будівництва. Метою роботи є розробка процесу підтримки прийняття рішень щодо визначення кількості розділів в Apache Kafka-топіку на основі аналізу чутливості в дискретній мережі Байєса. Процес пропонує рекомендації стосовно метрик продуктивності Apache Kafka-продюсера та їх інтервальних значень, які слід враховувати під час визначення кількості розділів. Для досягнення поставленої мети в роботі вирішені завдання: огляд і аналіз наявних формальних методів для визначення кількості розділів в Apache Kafka-топіку та визначення причин, через які ці методи можуть бути менш ефективними; розроблення структури мережі Байєса для включення в процес підтримки прийняття рішень щодо визначення кількості розділів у Apache Kafka-топіку; визначення математичних методів для обчислення параметрів мережі Байєса та кількісної оцінки чутливості апостеріорної ймовірності цільової функції до зміни значень параметрів мережі; оцінка запропонованого процесу на основі результатів перевірочних тестувань; аналіз діаграм метелика для ранжування параметрів мережі Байєса за силою впливу на цільову змінну. Для реалізації поставлених завдань використовувалися методи з теорій: ймовірності та статистики, системного аналізу, штучного інтелекту, інформаційних технологій. На основі отриманих результатів перевірочних тестувань запропонованого процесу доведено здатність використання процесу для формування рекомендацій щодо визначення розділів у Kafka-топіку. Крім того, запропонований процес визначає метрики продуктивності Apache Kafka-продюсера, значення яких слід постійно спостерігати для забезпечення продуктивності Kafka-продюсера після розгортання інформаційної технології, яка включає Kafka-кластер. Визначена на основі сформованих рекомендацій конфігурація Kafka-топіку зменшить ймовірність виникнення сценаріїв, коли ці конфігурації переглядаються після розгортання інформаційної системи, що призводить до ризику порушення порогу доступності даних.
Посилання
Babun, L., Denney, K., Celik, Z. B., McDaniel, P., & Uluagac, A. S. (2021). A survey on IoT platforms: Communication, security, and privacy perspectives. Computer Networks, 192, 108040.
Apache Kafka Available online: https://kafka.apache.org/
Kafka Producer. Available online: https://docs.confluent.io/platform/current/clients/producer.html
Kafka Consumer. Available online: https://docs.confluent.io/platform/current/clients/consumer.html
Apache Kafka Supports 200K Partitions Per Cluster. Available online: https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-cluster/
Turner, C. J., Oyekan, J., Stergioulas, L., & Griffin, D. (2020). Utilizing industry 4.0 on the construction site: Challenges and opportunities. IEEE Transactions on Industrial Informatics, 17 (2), 746–756.
Mehmood, E., & Anees, T. (2020). Challenges and solutions for processing real-time big data stream: a systematic literature review. IEEE Access, 8, 119123–119143.
Raptis, T. P., & Passarella, A. (2022, July). On efficiently partitioning a topic in apache kafka. In 2022 International Conference on Computer, Information and Telecommunication Systems (CITS), (pp. 1–8). IEEE.
Wu, H., Shang, Z., Peng, G., & Wolter, K. (2020, October). A reactive batching strategy of apache kafka for reliable stream processing in real-time. In 2020 IEEE 31st International Symposium on Software Reliability Engineering (ISSRE), pp. 207–217. IEEE.
Wu, H., Shang, Z., & Wolter, K. (2019, August). Performance prediction for the apache kafka messaging system. In 2019 IEEE 21st International Conference on High Performance Computing and Communications; IEEE 17th International Conference on Smart City; IEEE 5th International Conference on Data Science and Systems (HPCC/SmartCity/DSS) (pp. 154–161). IEEE.
Kafka producer metrics. Available online: https://kafka.apache.org/32/generated/producer_metrics.html.
Solovei, O. (2023, November). Analysis of a fixed-width binning method. In 2023 2nd International Conference on Innovative Solutions in Software Engineering (ICISSE) (p. 49).
Wasserkrug, S., Marinescu, R., Zeltyn, S., Shindin, E., & Feldman, Y. A. (2021, May). Learning the parameters of bayesian networks from uncertain data. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 35, No. 13, pp. 12190–12197).
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Андрій Олександрович Білощицький
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
