[發明專利]基于Adam的優化方法、系統以及終端

在審

• 申請號: 202010795596.4
• 申請日: 2020-08-10
• 公開（公告）號: CN111931422A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 谷宇章;邱守猛;袁澤強;張曉林
• 申請（專利權）人: 中國科學院上海微系統與信息技術研究所
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本發明的基于Adam的優化方法、系統以及終端，包括：將訓練樣本輸入至具有一或多個模型參數的待優化Adam模型，獲得預測結果；將預測結果與真實結果進行對比，與各模型參數的歷史參數梯度下的自身大小信息分別結合，獲得各模型參數在更新梯度下的自身大小信息；根據與訓練樣本以及優化Adam模型相關的學習力度值，獲得對應優化Adam模型的修正系數；獲得各模型參數的修正更新量，以獲得用于得到優化預測結果的Adam優化模型。用于解決針對龐大的數據量,現有技術不能滿足算法的高準確率以及更快的收斂速度的要求的問題。本發明對Adam模型的基礎上對模型參數進行改進，不僅保留Adam自身所帶有的優異性能的同時進一步在收斂速度和最終準確度上都有顯著的提升。

技術領域

本發明涉及模型參數優化領域，特別是涉及一種基于Adam的優化方法、系統以及終端。

背景技術

模型參數的求解很多情況下都離不開優化器的使用。優化算法的好壞對最終模型的性能有著十分重要的影響。近些年來，隨著機器學習，特別是深度學習的發展，對復雜的非線性、非凸模型參數的優化算法的需求在不斷提升。人們對對這一方面的研究也在不斷的加深。隨著模型變得日益復雜，因此對優化算法的收斂速度、優化效果等多個方面都提出了更高的要求。另外，優化算法也能幫助人們更好的理解模型的學習過程，對模型的可解釋性和我們認識模型的本質都有非常大的意義。

Adam算法是一種十分高效的優化算法，經過人們的不斷驗證，在很多任務上都能取得不錯的性能。Adam算法是通過對之前優化算法的改進而來，具備很多優異的特性，比如參數更新的大小不隨著梯度大小的縮放而變化，計算時基于目標函數的一階導數，保證了相對較低的計算量。但是，隨著數據量不斷的增大，現有的Adam算法還不能滿足高準確率以及更快的收斂速度的要求。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種基于Adam的優化方法、系統以及終端，用于解決針對龐大的數據量,現有技術不能滿足算法的高準確率以及更快的收斂速度的要求的問題。

為實現上述目的及其他相關目的，本發明提供一種基于Adam的優化方法，包括：將訓練樣本輸入至具有一或多個模型參數的待優化Adam模型，獲得預測結果；將所述預測結果與真實結果進行對比，分別獲得各模型參數的更新梯度，以與各模型參數的歷史參數梯度下的自身大小信息分別結合，獲得各模型參數在更新梯度下的自身大小信息；根據與所述訓練樣本以及優化Adam模型相關的學習力度值，獲得對應所述優化Adam模型的修正系數；根據所述在各模型參數的更新梯度下的自身大小信息以及所述修正系數分別獲得各模型參數的修正更新量，以獲得用于得到優化預測結果的Adam優化模型。

于本發明的一實施例中，所述將所述預測結果與真實結果進行對比，分別獲得各模型參數的更新梯度，以與在歷史參數梯度下的自身大小信息分別結合，獲得在各模型參數的更新梯度下的自身大小信息，包括：將所述預測結果與真實結果進行對比，獲得偏差值；基于所述偏差值以及預設的損失函數獲得各模型參數的更新梯度；將各模型參數的更新梯度與在歷史參數梯度下的自身大小信息分別結合，獲得在各模型參數的更新梯度下的自身大小信息。

于本發明的一實施例中，所述自身大小信息包括：一階矩以及二階矩。

于本發明的一實施例中，所述學習力度值包括：與模型訓練階段相關的訓練次數值、學習速度值以及學習順序值中的一種或多種；其中，所述模型訓練階段包括：模型訓練前階段以及模型訓練后階段。

于本發明的一實施例中，所述根據所述在各模型參數的更新梯度下的自身大小信息以及所述修正系數分別獲得各模型參數的修正更新量，以獲得用于得到優化預測結果的Adam優化模型，包括：所述根據所述在各模型參數的更新梯度下的自身大小信息、所述修正系數以及設定學習率分別獲得各模型參數的修正更新量；根據各模型參數的修正更新量的分別對各模型參數更新，獲得用于得到優化預測結果的Adam優化模型。