Автоматизоване виявлення та попередження  перенавчання в нейронних мережах

А.А. Пензеник

doi:10.36910/6775-2524-0560-2024-54-04

А.А. Пензеник https://orcid.org/0000-0002-2972-2600

DOI: https://doi.org/10.36910/6775-2524-0560-2024-54-04

Ключові слова: перенавчання, нейронні мережі, узагальнення моделі, автоматичне виявлення, стратегії запобігання, методи регулярізації, шум, оптимізація

Анотація

У статті розглядається питання перенавчання нейронних мереж, проблеми, яка набула популярності по мірі зростання складності моделей штучного інтелекту. Оскільки нейронні мережі стають все складнішими та потужнішими, ризик перенавчання, явища, коли модель вивчає шум і специфіку навчальних даних, замість якісного узагальнювання нових даних. Було досліджено тонкощі перенавчання та його згубний вплив на продуктивність моделі, наголошуючи на необхідності складних підходів для виявлення та пом’якшення цієї проблеми. У статті розглядаються різні методи виявлення, починаючи від статистичних вимірювань і закінчуючи вдосконаленими підходами на основі моделі, підкреслюючи їх сильні сторони та обмеження. Зроблено огляд превентивних стратегій, таких як методи регуляризації, відсіву та ансамблеві методи, які спрямовані на покращення узагальнення моделі. Розглядаються останні досягнення в автоматизованому машинному навчанні (AutoML) і оптимізації гіперпараметрів, з оглядом на їхню ефективність у стримуванні надмірного навчання моделі без перешкод для її точності. Було запропоновано ідею використання ін’єкції шуму для придушення перенавчання в різних нейронних мережах і продемонстровано, що: шум може пригнічувати перенавчання у багатошаровому перцептроні (MLP) і довготривалій короткочасній пам’яті (LSTM). Ця робота показує, що шум може бути ефективним рішенням для пригнічення перенавчання в нейронній мережі Гопфілда (HNN), і, що більш важливо, це додатково свідчить про те, що недосконалість цифрових пристроїв є багатим джерелом рішень для прискорення розвитку апаратних технологій в епоху штучного інтелекту

Посилання

1. Muquri A. L. I., Konstholm S. Data augmentation and related opportunity cost for managing the contemporary data sparsity data augmentation and related opportunity cost for managing the contemporary data sparsity. 2021.
2. Khalifa N. E., Hamed Taha M., Hassanien A. E., Selim I. Deep galaxy V2: Robust deep convolutional neural networks for galaxy morphology classi cations. Int. Conf. Comput. Sci. Eng. ICCSE 2018 – Proc., 2018. Р. 1–6. DOI:10.1109/ICCSE1.2018.8374210.
3. Marin I., Skelin A. K., Grujic T. Empirical evaluation of the effect of optimization and regularization techniques on the generalization performance of deep convolutional neural network. Appl. Sci. 2020. vol. 10, №. 21. Р. 1–30. DOI:10.3390/app10217817.
4. Kadhim Zahraa, Abdullah Hasanen, Ghathwan Khalil. Automatically Avoiding Overfitting in Deep Neural Networks by Using Hyper-Parameters Optimization Methods. International Journal of Online and Biomedical Engineering (iJOE). 2023. DOI:19. 146-162. 10.3991/ijoe.v19i05.38153.
5. Sabiri Bihi, Asri Bouchra, Rhanoui Maryem. Efficient Deep Neural Network Training Techniques for Overfitting Avoidance. 2023. DOI:10.1007/978-3-031-39386-0_10.