[發明專利]一種梯度下降算法的差異可視分析方法

在審

• 申請號: 202010119920.0
• 申請日: 2020-02-26
• 公開（公告）號: CN111488967A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 孫國道;付偉勝;厲棟;蔣莉
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種梯度下降算法的差異可視分析方法，包括以下步驟：采用梯度下降算法對線性回歸數據集進行訓練，提取訓練過程中的特征向量，并且得到最優線性回歸系數。運用可視化技術對上面提取的特征向量進行可視分析，通過熱力圖來展示梯度下降算法對多個模型的訓練結果，采用線性擬合和誤差曲線協助用戶直觀地認識梯度下降算法，運用矩陣圖來進行橫向和縱向比較，以此來幫助用戶理解梯度下降算法，了解學習率或動量的變化給最后的結果帶來的影響，利用利用散點矩陣圖來探索每個模型中不同特征參數之間的關聯性。通過以上步驟幫助深度學習初學者理解梯度下降算法的工作原理，并且幫助他們掌握并且熟練使用不同的梯度下降算法，以及明白它們的差異性。

技術領域

本發明涉及一種梯度下降算法的差異可視分析方法。

背景技術

近幾年，人工智能在各領域的應用伴隨計算機相關技術的迅猛發展，都取得了豐厚的成果。比如：基于深度學習的人臉識別、語音識別和語言處理應用程序等，給人們的生活帶來了許多便利，也得到了更多學者、企業的關注。

深度學習作為一項核心技術，在視頻、醫療、金融、無人駕駛等行業都有相應的運用，但是面對眾多的深度學習算法，我們應該怎么選擇呢？面對這些深度學習算法給出的結果，我們應該怎么解釋呢？我們怎樣才能改善這些結果呢？

深度學習在各個領域的成功應用一方面是計算機硬件設備的迅猛發展(GPU)和大數據的支持，另一個方面則是神經網絡模型結構的建立和不同優化算法之間的選擇以及超參數的設置，所以，神經網絡的優化問題一直被學術界廣泛的關注，并成為一個非常重要的課題。

優化算法的選擇和超參數值的設置，對神經網絡的性能有著至關重要的作用。在很多深度學習模型訓練到最后都變成求解最優化問題。在各種最優化算法中，梯度下降法是最簡單、最常見的一種，它要解決的問題是幫我們找到一個近似最優解，并確定這個最優解是否有效，這是我們在深度網絡中需要解決的最基本問題也是至關重要的一個問題。在很多預測算法中，如線性回歸，經常使用梯度下降算法來進行迭代使得誤差函數的誤差值盡可能小，這個時候學習率，動量等超參數的選擇就十分重要，如果你對算法的原理不理解，你可能很難較快的選擇到合適的學習率，所以對梯度下降優化算法的原理進行可解釋性分析就至關重要。

梯度下降算法的核心思想是通過迭代逼近最小偏差從而得出最優路徑，但是傳統的梯度下降算法的訓練效果并不理想、不能滿足人們的需求，因此，很多學者對梯度下降算法做了改進，梯度下降算法經歷了幾個階段：傳統梯度下降算法到批量梯度下降算法、小批量梯度下降算法、隨機梯度下降算法；在隨機梯度下降算法的基礎上，又進行一系列的改進，產生一系列的變種算法，如Momentum、NAG、Adagrad、Adadelta、RMSProp、Adam等等。雖然谷歌、臉書、微軟、亞馬遜等公司開發的深度學習庫中都包含了各種梯度下降算法的實現(例如Tensorflow，Cafe，Keras等等)，但是這些庫里的優化算法通常作為黑盒優化器使用，沒有對各種梯度下降算法的優點、缺點、影響因素以及差異性給出可解釋性分析，所以我們很有必要去了解梯度下降算法的工作原理，熟知不同梯度下降算法之間的區別，并能夠根據它們各自的優缺點選擇最合適的方法和參數來應用于相應的場景。

發明內容

為了幫助深度學習初學者理解梯度下降算法的工作原理，并且幫助他們掌握并且熟練使用不同的梯度下降算法，以及明白它們的差異性，本發明提供了一種梯度下降優化算法的差異可視分析方法。

為了解決上述技術問題，本發明提供如下的技術方案：

一種梯度下降算法的差異可視分析方法，所述方法包括以下步驟：

1)采用梯度下降算法對線性回歸數據集進行訓練，提取訓練過程中的特征向量，并且得到最優線性回歸系數。步驟如下：