Нейронні мережі та алгоритм оптимізації Adam
Ключові слова:
нейронна мережа, штучний нейрон, градієнтний спуск, алгоритм Adam, оптимізаціяАнотація
У статті розглядаються штучні нейронні мережі та алгоритм оптимізації Adam. Пояснюється, що таке мережа – сукупність штучних нейронів, зв’язаних між собою, причому кожен нейрон отримує на вхід дані, перемножує їх на ваги, сумує з урахуванням біаса і пропускає через активаційну функцію. Описано процес навчання мережі як мінімізації функції втрат (loss) за допомогою методів оптимізації – ітеративного оновлення ваг у напрямку градієнта помилки. Наведено принцип роботи алгоритму Adam, що поєднує ідеї методу РМСпроп та імпульсу, використовуючи ковзні середні першого і другого моментів градієнтів. У практичній частині демонструється код простої нейронної мережі на Python (класифікація MNIST) з використанням оптимізатора Adam та аналізуються результати. Стаття завершується висновками про ефективність Adam у процесі навчанні нейромереж.
Посилання
Altinel M. A. Development of Deep Learning Optimizers: Approaches, Concepts, and Update Rules. Researchgate. 2025. URL: https://surl.li/zzzonp
De Miranda G. C., De Lima G. G., Farias T. An Introduction to Neural Networks for Physicists. Researchgate. 2025. URL: https://surl.li/tbosax
Cerra F., Callegari F., Querzoni L. A Short Introduction to Neural Networks and Their Application to Earth and Materials Science. Researchgate. 2024. URL: https://surl.li/zoglok
Selvakumari S., Durairaj M. A Comparative Study of Optimization Techniques in Deep Learning Using the MNIST Dataset. Indian Journal of Science and Technology. 2025. Vol. 18, № 10. P. 803–810. URL: https://indjst.org/ articles/a-comparative-study-of-optimization-techniques-in-deep-learning-using-the-mnist-dataset
Large-Scale Deep Learning Optimizations: A Comprehensive Survey / Х. He, F. Xue, X. Ren, Y. You. Researchgate. 2021. URL: https://surl.li/xhsbyd
Stochastic Gradient Descent. Wikipedia. URL: https://en.wikipedia.org/wiki/Stochastic_gradient_descent
