КОМБІНОВАНИЙ АЛГОРИТМ НАВЧАННЯ НЕЙРОННИХ МЕРЕЖ ПРЯМОГО ПОШИРЕННЯ

Анотація

Суть навчання нейронних мереж прямого поширення полягає в мінімізації функції середньоквадратичної помилки виходу. Ця функція мультимодальна, тобто має декілька локальних мінімумів. Для пошуку мінімуму таких функцій найчастіше використовуються градієнтні і стохастичні методи, які не гарантують знаходження глобального мінімуму. У статті аналізуються градієнтний алгоритм зворотного поширення помилки і стохастичний метод рою частинок для навчання нейронних мереж прямого поширення, вказані їх переваги і недоліки. Пропонується об’єднати переваги обох методів у комбінованому алгоритмі.

Процес навчання за допомогою комбінованого алгоритму здійснюється в два етапи. На першому етапі стохастичний метод рою частинок проводить задану кількість епох навчання і визначає множину точок, в околиці яких можуть знаходитись точки локального мінімуму. На другому етапі градієнтний алгоритм зворотного поширення помилки знаходить локальний мінімум для кожної точки і вибирає з них оптимальний. Якщо задане значення середньоквадратичної помилки виходу не досягнуто, то етапи навчання повторюються.

Для оцінки ефективності запропонованого підходу до навчання нейронних мереж проведена серія порівняльних експериментів з використанням відомої бази даних розпізнавання комп’ютерних атак KDD Cup 1999 Data. В експериментах порівнювались результати навчання нейронної мережі прямого поширення для методу рою частинок, алгоритму зворотного поширення помилки і комбінованого алгоритму. Результати експериментів довели перевагу комбінованого алгоритму.

Посилання

1. Хайкин С. Нейронные сети: полный курс. 2-е изд., испр. Пер. с англ. Москва: ООО «И. Д. Вильямс», 2006. 1104 с.
2. Уайлд, Д. Дж. Методы поиска экстремума. Москва: Главная редакция физико-математической литературы издательства «Наука», 2017. 268 c.
3. Карпенко А. П., Селиверстов Е. Ю. Обзор методов роя частиц для задачи глобальной оптимизации (Particle Swarm Optimization) // Наука и образование: электронное научно-техническое издание. 2009. № 3. URL: http://technomag.edu.ru/doc/116072.html.
4. Е. В. Пальчевский, О. И. Христодуло. Разработка импульсной нейронной сети с возможностью скоростного обучения для нейтрализации DDoS-атак //Программные продукты и системы. Том 32, № 4. С. 613–627.
5. Воробьева Ю. Н., Катасева Д. В., Катасев А. С., Кирпичников А. П. Нейросетевая модель выявления DDoS-атак // Вестник технологического университетата. 2018. Т. 21. № 2. С. 94–98.
6. Частикова В. А., Власов К. А., Картамышев Д. А. Обнаружение ddos-атак на основе нейронных сетей с применением метода роя частиц в качестве алгоритма обучения // Фундаментальные исследования 2014. № 8. С. 829–832.
7. Титюнников А. В., Кароль А. Д., Бессчетнов А. В. Применение метода роя частиц в качестве обучения нейронных сетей // CyberLeninka: научная электронная библиотека. URL: https://cyberleninka.ru/article/n/primenenie-metoda-roya-chastits-v-kachestve-obucheniya-neyronnyh-setey/viewer.
8. , Overill R., Radzik T. Detection of known and unknown DDoS attacks using Artificial Neural Net-works. Neurocomputing, 2016, vol. 172, pp. 385–393.
9. KDD Cup 1999 Data // UCI Knowledge Discovery in Databases Archive. URL: http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html.