Особливості визначення оптимального складу експертної групи на основі семантико-статистичного підходу
DOI:
https://doi.org/10.32347/2412-9933.2025.64.194-200Ключові слова:
тематична компетентність, формування експертної групи, семантико-статистичний підхід, OpenAlex Concepts, тематичне покриття, співвживання термінівАнотація
Формування складу експертних груп для оцінювання наукових проєктів, конкурсних заявок та рецензування є критично важливою задачею, що безпосередньо впливає на якість, об’єктивність і доброчесність наукової експертизи. Традиційні підходи до добору експертів, зокрема ранжування за індексом Гірша або класифікація за кодами ASJC/MeSH, мають низку обмежень: вони не враховують семантичну релевантність профілю експерта до тематики конкурсу, ігнорують міждисциплінарні зв’язки та не забезпечують поелементного аналізу тематичного покриття. У відповідь на ці виклики в роботі запропоновано семантикостатистичний підхід до оцінки компетентності експертів, який базується на побудові графів співвживання термінів для кожного концепту конкурсної тематики з використанням відкритого словника концептів OpenAlex. Модель дозволяє здійснювати поелементну оцінку тематичної компетентності експертів на основі їхнього публікаційного профілю, враховуючи як прямі, так і опосередковані семантичні зв’язки. У межах дослідження формалізовано алгоритм побудови локальних графів семантичної близькості для кожного концепту, визначено метрику оцінки компетентності, яка враховує частоту згадування термінів у публікаціях та їхню семантичну віддаленість від ядра теми. На основі отриманих оцінок сформовано матрицю компетентностей, що дозволяє застосовувати методи групової оптимізації для формування збалансованих експертних складів. Розглянуто різні стратегії оптимізації – жадібні алгоритми, цілочисельне програмування, еволюційні методи – та обґрунтовано їх застосовність залежно від розміру задачі та вимог до точності. Запропонований підхід забезпечує прозорість, тематичну чутливість і гнучкість формування експертних груп, дозволяє уникнути дублювання компетенцій та недооцінки вузькоспеціалізованих дослідників. Модель є масштабованою, відтворюваною та придатною для інтеграції в системи автоматизованого добору експертів у наукових конкурсах з перспективою розширення на механізми виявлення конфліктів інтересів та оцінки академічної доброчесності.
Посилання
Shostak, O. (2016). Development of an approach to the formation of expert commissions for evaluating the composition of teams of performers of high-tech projects. Technological Audit and Production Reserves, 4 (2), 20–25. URL: http://nbuv.gov.ua/UJRN/Tatrv_2016_4(2)__4.
Akhtar, M. K. (2024). The H-index is an unreliable research metric for evaluating the publication impact of experimental scientists. Frontiers in Research Metrics and Analytics, 9, Article 1385080. URL: https://doi.org/10.3389/frma.2024.1385080.
Koltun, V., & Hafner, D. (2021). The h-index is no longer an effective correlate of scientific reputation. PLOS ONE, 16(6), e0253397. URL: https://doi.org/10.1371/journal.pone.0253397.
Bornmann, L., & Daniel, H.-D. (2008). What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 64 (1), 45–80. URL: https://doi.org/10.1108/00220410810844150.
Tsyganok, V. V., Khrolenko, Ya. O., & Domanetska, I. M. (2024). Intelligent text processing tools for the tasks of organizing and conducting student research competitions. Systems and Means of Artificial Intelligence: Proceedings of the International Scientific Conference "Artificial Intelligence: Achievements, Challenges and Risks", 331–335. URL: https://essuir.sumdu.edu.ua/server/api/core/bitstreams/9c189961-9f5f-44f5-8030-d60d67f61d52/content.
Tang, J., Zhang, J., Yao, L., Li, J., Zhang, L., & Su, Z. (2008). ArnetMiner: Extraction and mining of academic social networks. Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '08), 990–998. URL: https://doi.org/10.1145/1401890.1402008.
Wang, F., Zhou, S., & Shi, N. (2021). A proactive decision support system for reviewer recommendation in academia. Expert Systems with Applications, 169, Article 114331. URL: https://doi.org/10.1016/j.eswa.2020.114331.
Stelmakh, I., Shah, N., & Singh, A. (2021). PeerReview4All: Fair and accurate reviewer assignment in peer review. Journal of Machine Learning Research, 22 (70), 1–55. URL: https://doi.org/10.48550/arXiv.1806.06237.
Balagura, I., Andrushchenko, V., & Gorbov, I. (2023). Detection of expert groups for scientific expertise. CEUR Workshop Proceedings, 2318, 271–280. URL: https://ceur-ws.org/Vol-2318/paper23.pdf.
Priem, J., Piwowar, H., & Orr, R. (2022). OpenAlex: A fully-open index of scholarly works, authors, venues, institutions, and concepts. ArXiv preprint, arXiv:2205.01833. URL: https://doi.org/10.48550/arXiv.2205.01833.
Fernández, E., Rangel-Valdez, N., Cruz-Reyes, L., & Gomez-Santillan, C. (2021). Leveraging multicriteria integer programming optimization for effective team formation. IEEE Xplore. URL: https://ieeexplore.ieee.org/document/10531676.
Williams, A. (2024). Insights into weighted sum sampling approaches for multi-criteria decision making problems. ArXiv preprint, arXiv:2410.03931. URL: https://arxiv.org/abs/2410.03931.
Jakob, W., & Blume, C. (2014). Pareto optimization or cascaded weighted sum: A comparison of concepts. Algorithms, 7 (1), 166–185. URL: https://doi.org/10.3390/a7010166.
Zhou, J., Zheng, H., Li, S., Hao, Q., Zhang, H., Gao, W., & Wang, X. (2024). A knowledge-guided competitive coevolutionary algorithm for feature selection. Applied Sciences, 14 (11), Article 4501. URL: https://www.mdpi.com/2076-3417/14/11/4501.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Ірина Миколаївна Доманецька, Ярослав Олексійович Хроленко
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
