ПОРІВНЯЛЬНИЙ АНАЛІЗ МЕТОДІВ ПОСТ-ХОК ПОЯСНЕННЯ ДЛЯ МАЛИХ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ У СИСТЕМАХ ОСВІТНЬОЇ АНАЛІТИКИ
DOI:
https://doi.org/10.32782/2412-9208-2026-2-187-208Ключові слова:
пояснюваний штучний інтелект, освітня аналітика, педагогічна інформатика, локальні пояснення моделей, інтерпретованість, дерева рішень, цифрова компетентність викладача.Анотація
Стаття розв’язує практичну задачу педагогічної інформатики – як забезпечити прозоре й відтворюване пояснення прогнозу, що повертає модель машинного навчання у системі освітньої аналітики (learning analytics), у формі, придатній одночасно для викладача, студента й внутрішнього аудиту закладу. На основі референтного педагогічного сценарію (куратор отримує сигнал «високий ризик» щодо студента) проведено порівняння методів пост-хок пояснення – LIME, LinearSHAP, TreeSHAP, KernelSHAP, Anchors та Integrated Gradients. Регуляторний контур окреслено вимогами EU AI Act і GDPR щодо прозорості й відтворюваності значущих рішень. Методи оцінювання: обчислювальна ефективність, стабільність (Jaccard-подібність топ-5 ознак за 10 прогонами), вірність (зміна прогнозу при обнуленні топ-3 ознак), плаузибельність. Експерименти проведено на трьох публічних наборах зростаючої розмірності – Iris (4 ознаки), Wine (13), Breast Cancer Wisconsin (30) – у середовищі Python 3.12; статистичну значущість перевірено двовибірковим t-тестом Велча. Результати: LinearSHAP < 0,1 мс при абсолютній стабільності, переважає LIME за швидкістю з p = 0,045; стабільність LIME з розмірністю падає з 1,00 до 0,54 – 0,76; KernelSHAP у високих вимірах – 0,47 (непридатно для аудиту); Anchors – найвища вірність 0,75 за помірної стабільності; Integrated Gradients детермінований, але погано масштабується (17 – 133 мс). Жоден метод не поєднує субмілісекундний час, ідеальну стабільність і формат «ЯКЩО-ТО» одночасно – цей розрив закриває авторський метод Greedy-Prune- Explain (GPE): трифазний алгоритм зі складністю O(d²·n), гарантією precision ≥ τ та детермінованим виходом. Очікувані педагогічні ефекти – стискання циклу між прогнозом і втручанням, підтримка фази forethought саморегульованого навчання, документовно відтворюване обґрунтування педагогічного рішення. Сформовано практичні рекомендації для проектувальників педагогічних інформаційних систем закладів загальної та вищої освіти.
Посилання
Aas K., Jullum M., Løland A. Explaining individual predictions when features are dependent: More accurate approximations to Shapley values. Artificial Intelligence. 2021. Vol. 298. Art. 103502. DOI: https://doi.org/10.1016/j.artint.2021.103502
Adadi A., Berrada M. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access. 2018. Vol. 6. P. 52138–52160. DOI: https://doi.org/10.1109/ACCESS.2018.2870052
Adebayo J., Gilmer J., Muelly M., Goodfellow I., Hardt M., Kim B. Sanity Checks for Saliency Maps. Proceedings of the 32nd Conference on Neural Information Processing Systems. Montréal, Canada, 2018.
Alvarez-Melis D., Jaakkola T. S. On the Robustness of Interpretability Methods. Proceedings of the ICML Workshop on Human Interpretability in Machine Learning. Stockholm, Sweden, 2018. P. 66–71.
Arrieta A. B., Díaz-Rodríguez N., Del Ser J. et al. Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion. 2020. Vol. 58. P. 82–115. DOI: https://doi.org/10.1016/j.inffus.2019.12.012
Banbury C., Reddi V. J., Lam M. et al. Benchmarking TinyML Systems: Challenges and Direction. Proceedings of the IEEE. 2021. Vol. 109, No. 2. P. 211–233. DOI: https://doi.org/10.1109/JPROC.2020.3031354
Caruana R., Lou Y., Gehrke J., Koch P., Sturm M., Elhadad N. Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission. Proceedings of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Sydney, Australia, 2015. P. 1721–1730. DOI: https://doi.org/10.1145/2783258.2788613
European Parliament, Council of the European Union. Regulation (EU) 2024/1689 Laying Down Harmonised Rules on Artificial Intelligence (Artificial Intelligence Act). Official Journal of the European Union. 2024. URL: https://eur-lex.europa.eu/eli/reg/2024/1689/oj (дата звернення: 24.04.2026).
Guidotti R., Monreale A., Ruggieri S., Turini F., Giannotti F., Pedreschi D. A Survey of Methods for Explaining Black Box Models. ACM Computing Surveys. 2019. Vol. 51, No. 5. Art. 93. P. 1–42. DOI: https://doi.org/10.1145/3236009
Hattie J., Timperley H. The Power of Feedback. Review of Educational Research. 2007. Vol. 77, No. 1. P. 81–112. DOI: https://doi.org/10.3102/003465430298487
Holstein K., Aleven V. Designing for Human-AI Complementarity in K-12 Education. AI Magazine. 2022. Vol. 43, No. 2. P. 239–248. DOI: https://doi.org/10.1002/aaai.12058
Lipton Z. C. The Mythos of Model Interpretability. Queue. 2018. Vol. 16, No. 3. P. 31–57. DOI: https://doi.org/10.1145/3236386.3241340
Lundberg S. M., Lee S.-I. A unified approach to interpreting model predictions. Advances in Neural Information Processing Systems. Long Beach, CA, USA, 2017. Vol. 30. P. 4765–4774.
Lundberg S. M., Erion G., Chen H. et al. From Local Explanations to Global Understanding with Explainable AI for Trees. Nature Machine Intelligence. 2020. Vol. 2. P. 56–67. DOI: https://doi.org/10.1038/s42256-019-0138-9
Miller T. Explanation in Artificial Intelligence: Insights from the Social Sciences. Artificial Intelligence. 2019. Vol. 267. P. 1–38. DOI: https://doi.org/10.1016/j.artint.2018.07.007
Murdoch W. J., Singh C., Kumbier K., Abbasi-Asl R., Yu B. Definitions, methods, and applications in interpretable machine learning. Proceedings of the National Academy of Sciences. 2019. Vol. 116, No. 44. P. 22071–22080. DOI: https://doi.org/10.1073/pnas.1900654116
Redecker C. European Framework for the Digital Competence of Educators: DigCompEdu / ed. by Y. Punie. Luxembourg : Publications Office of the European Union, 2017. EUR 28775 EN. DOI: https://doi.org/10.2760/178382
Ribeiro M. T., Singh S., Guestrin C. “Why should I trust you?”: Explaining the predictions of any classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Francisco, CA, USA, 2016. P. 1135–1144. DOI: https://doi.org/10.1145/2939672.2939778
Ribeiro M. T., Singh S., Guestrin C. Anchors: High-precision model-agnostic explanations. Proceedings of the AAAI Conference on Artificial Intelligence. New Orleans, LA, USA, 2018. Vol. 32, No. 1. P. 1527–1535. DOI: https://doi.org/10.1609/aaai.v32i1.11491
Romero C., Ventura S. Educational data mining and learning analytics: An updated survey. WIREs Data Mining and Knowledge Discovery. 2020. Vol. 10, No. 3. e1355. DOI: https://doi.org/10.1002/widm.1355
Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence. 2019. Vol. 1, No. 5. P. 206 – 215. DOI: https://doi.org/10.1038/s42256-019-0048-x
Samek W., Montavon G., Vedaldi A., Hansen L. K., Müller K.-R. Explainable AI: Interpreting, Explaining and Visualizing Deep Learning. Berlin : Springer, 2019. 439 p.
Sturmfels P., Lundberg S., Lee S.-I. Visualizing the Impact of Feature Attribution Baselines. Distill. 2020. Vol. 5, No. 1. e22. DOI: https://doi.org/10.23915/distill.00022
Sundararajan M., Taly A., Yan Q. Axiomatic Attribution for Deep Networks. Proceedings of the 34th International Conference on Machine Learning. Sydney, Australia, 2017. P. 3319 – 3328.
Zimmerman B. J. Becoming a Self-Regulated Learner: An Overview. Theory Into Practice. 2002. Vol. 41, No. 2. P. 64 – 70. DOI: https://doi.org/10.1207/s15430421tip4102_2
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
