Застосування чисельних методів оптимізації для навчання моделей штучного інтелекту
Ключові слова:
чисельна оптимізація, градієнтний спуск, AdamW, mL-BFGS, збіжністьАнотація
У статті досліджено роль чисельних методів оптимізації у розвитку систем штучного інтелекту. Проведено порівняльний аналіз трьох найбільш поширених методів: SGD, AdamW та mL-BFGS. Досліджено математичний апарат кожного алгоритму, принципи роботи з градієнтами першого та другого порядків, а також стратегії адаптивності. Особливу увагу приділено механізмам стабілізації апроксимації матриці Гессе в умовах стохастичного шуму. Наведені результати тестування підтверджують ефективність методів другого порядку для прискорення збіжності моделей.
Посилання
Чисельні методи: навчальний посібник / Л. О. Волонтир, О. В. Зелінська, Н. А. Потапова, І. А. Чіков. Вінниця: ВНАУ, 2020. 322 с. URL: https://r.donnu.edu.ua/handle/123456789/1805
Bottou L., Curtis F., Nocedal J. Optimization Methods for Large-Scale Machine Learning. https://epubs.siam. org/doi/10.1137/16M1080173. URL: https://epubs.siam.org/doi/10.1137/16M1080173 (дата звернення: 11.03.2026).
Rafati J., Roummel F. M. Quasi-Newton Optimization Methods For Deep LearningApplications. https://arxiv.org/abs/1909.01994. URL: https://arxiv.org/abs/1909.01994 (дата звернення: 11.03.2026).
mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization – PMC. PMC. URL: https://pmc.ncbi.nlm.nih.gov/articles/PMC12393816/ (дата звернення: 18.03.2026).
Venues | OpenReview. URL: https://openreview.net/pdf/5963886abef941684ffc0cf670297e47fb1e5155.pdf (дата звернення: 18.03.2026).
Niu Y. mL-BFGS: A Momentum-based L-BFGS for Distributed Large-Scale Neural Network Optimization. researchgate. URL: https://www.researchgate.net/publication/372654300_mL-BFGS_A_Momentum-based_L-BFGS_ for_Distributed_Large-Scale_Neural_Network_Optimization (дата звернення: 19.03.2026).
