[發明專利]用于訓練神經網絡的方法和裝置

有效

• 申請號: 202010089892.2
• 申請日: 2020-02-13
• 公開（公告）號: CN111310896B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 彭冕;傅依;文石磊;章宏武;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/26;G06N3/0464;G06N3/0985
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于訓練神經網絡的方法和裝置。該方法的一具體實施方式包括：獲取訓練樣本；利用訓練樣本對初始神經網絡進行訓練，確定初始神經網絡是否達到收斂；響應于確定出初始神經網絡達到收斂，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，以及確定初始神經網絡是否滿足預設的訓練結束條件；響應于確定出初始神經網絡滿足訓練結束條件，生成訓練完成的神經網絡。該實施方式可以在提高神經網絡的網絡權重的準確性的同時提高神經網絡的訓練速度。

技術領域

本申請實施例涉及計算機技術領域，具體涉及用于訓練神經網絡的方法和裝置。

背景技術

隨著科學技術的發展，神經網絡(Neural Network)得到了越來越廣泛的應用。神經網絡是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。目前，神經網絡提供了針對圖像識別、語音識別和自然語言處理領域諸多問題的最佳解決方案。

發明內容

本申請實施例提出了用于訓練神經網絡的方法和裝置。

第一方面，本申請實施例提供了一種用于訓練神經網絡的方法，包括：獲取訓練樣本；利用訓練樣本對初始神經網絡進行訓練，確定初始神經網絡是否達到收斂；響應于確定出初始神經網絡達到收斂，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，以及確定初始神經網絡是否滿足預設的訓練結束條件；響應于確定出初始神經網絡滿足訓練結束條件，生成訓練完成的神經網絡。

在一些實施例中，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，包括：采用預設的周期余弦學習率，對初始神經網絡進行訓練，當初始神經網絡在每個周期訓練完成時，基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新。

在一些實施例中，基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新，包括：確定初始神經網絡在上一個周期訓練完成時的網絡權重與當前的周期數的乘積，將乘積與初始神經網絡當前的網絡權重之和確定為第一數值；將當前的周期數與預設數值之和確定為第二數值；將第一數值與第二數值的比值確定為第三數值；利用第三數值，對初始神經網絡的網絡權重進行更新。

在一些實施例中，訓練結束條件包括以下至少一項：對初始神經網絡進行訓練的訓練時間超過預設時長；對初始神經網絡進行訓練的訓練次數超過預設次數。

在一些實施例中，神經網絡包括圖像分割模型，訓練樣本包括樣本圖像和樣本分割結果；以及確定初始神經網絡是否滿足預設的訓練結束條件，包括：將訓練樣本中的樣本圖像輸入初始神經網絡中，得到分割結果；確定得到的分割結果與對應的樣本分割結果之間的差異；確定差異是否小于預設差異閾值。

第二方面，本申請實施例提供了一種用于訓練神經網絡的裝置，包括：獲取單元，被配置成獲取訓練樣本；確定單元，被配置成利用訓練樣本對初始神經網絡進行訓練，確定初始神經網絡是否達到收斂；更新單元，被配置成響應于確定出初始神經網絡達到收斂，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，以及確定初始神經網絡是否滿足預設的訓練結束條件；生成單元，被配置成響應于確定出初始神經網絡滿足訓練結束條件，生成訓練完成的神經網絡。

在一些實施例中，更新單元進一步被配置成按照如下方式采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新：采用預設的周期余弦學習率，對初始神經網絡進行訓練，當初始神經網絡在每個周期訓練完成時，基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新。