光華講壇——社會名流與企業家論壇第6504期

主 題：Optimization and Generalization of Gradient Methods for Shallow Neural Networks淺層神經網絡的梯度方法優化與泛化

主講人：香港大學 雷云文博士

主持人：統計學院 林華珍教授

時間：4月26日 10：30-11：30

直播平臺及會議ID：騰訊會議，670-601-110

主辦單位：統計研究中心和統計學院 科研處

主講人簡介：

雷云文是香港大學數學系的助理教授。他的主要研究興趣包括學習理論和優化，主要集中在算法穩定性分析、深度學習以及隨機優化等主題。

內容簡介：

Neural networks have achieved impressive performance in various applications. In this talk, we discuss the optimization and generalization of shallow neural networks (SNNs). We consider both gradient descent (GD) and stochastic gradient descent (SGD) to train SNNs. We show how the optimization and generalization should be balanced to obtain consistent error bounds under a relaxed overparameterization setting. We improve the existing estimates on the weak-convexity parameter of SNNs along the trajectories of optimization process.

神經網絡在各種應用中已經取得了令人印象深刻的性能。在本次演講中，我們討論了淺層神經網絡（SNNs）的優化與泛化。我們考慮使用梯度下降（GD）和隨機梯度下降（SGD）來訓練SNNs。我們展示了如何在放松的超參數設置下平衡優化與泛化，以獲得一致的誤差界。我們改進了關于SNNs弱凸性參數在優化過程軌跡上的現有估計。