[發明專利]神經網絡訓練方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011275171.7
• 申請日: 2020-11-13
• 公開（公告）號: CN112381224A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張天豫;范力欣;吳錦和
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 張志江

本發明公開了一種神經網絡訓練方法，包括以下步驟：隨機初始化待訓練神經網絡，并基于輸入數據，獲取初始化后的待訓練神經網絡的目標隨機參數；對所述目標隨機參數進行量化處理，以獲得量化參數；基于所述目標隨機參數以及所述量化參數確定量化損失值；基于所述量化損失值以及初始化后的待訓練神經網絡，確定目標神經網絡。本發明還公開了一種神經網絡訓練裝置、設備及計算機可讀存儲介質。本發明過量化參數對神經網絡進行訓練，以使得訓練得到的目標神經網絡具有較強的模型可解釋性，并且，通過選擇目標隨機參數，避免對神經網絡中的大量冗余參數進行處理，降低模型訓練過程中的網絡計算量，以便于將神經網絡小型化而部署于小型邊緣設備中。

技術領域

本發明涉及神經網絡領域，尤其涉及一種神經網絡訓練方法、裝置、設備及計算機可讀存儲介質。

背景技術

隨著人工智能的發展，深度學習在圖像檢測以及語音識別等領域體現出巨大的優勢。神經網絡是深度學習的一種重要算法。但是，由于神經網絡中有存在大量冗余參數，會導致神經網絡模型的計算量巨大，因此在一些應用場景例如在嵌入式設備等小型邊緣設備中無法直接使用。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種神經網絡訓練方法、裝置、設備及計算機可讀存儲介質，旨在解決現有神經網絡模型的計算量巨大的技術問題。

為實現上述目的，本發明提供一種神經網絡訓練方法，所述神經網絡訓練方法包括以下步驟：

隨機初始化待訓練神經網絡，并基于輸入數據，獲取初始化后的待訓練神經網絡的目標隨機參數；

對所述目標隨機參數進行量化處理，以獲得量化參數；

基于所述目標隨機參數以及所述量化參數確定量化損失值；

基于所述量化損失值以及所述初始化后的待訓練神經網絡，確定目標神經網絡。

進一步地，所述基于所述目標隨機參數以及所述量化參數確定量化損失值的步驟包括：

基于所述目標隨機參數確定第一損失值，并基于所述量化參數確定第二損失值；

基于所述第一損失值以及所述第二損失值，確定所述量化損失值。

進一步地，失值的步驟包括：

基于所述輸入數據以及所述目標隨機參數，確定第一損失值；

基于所述輸入數據以及所述量化參數，確定第二損失值。

進一步地，所述基于所述第一損失值以及所述第二損失值，確定所述量化損失值的步驟包括：

基于所述第一損失值、所述第二損失值以及預設合頁損失函數，確定所述量化損失值。

進一步地，所述對所述目標隨機參數進行量化處理，以獲得量化參數的步驟包括：

基于所述目標隨機參數的符號對各個目標隨機參數進行二值量化處理，以獲得所述量化參數。

進一步地，所述基于所述量化損失值以及初始化后的待訓練神經網絡，確定目標神經網絡的步驟包括：

獲取初始化后的待訓練神經網絡對應的損失函數值；

基于所述量化損失值以及所述損失函數值，確定目標神經網絡。

進一步地，所述基于所述量化損失值以及所述損失函數值，確定目標神經網絡的步驟包括：

基于所述量化損失值以及所述損失函數值，確定總損失函數值；