[發明專利]用于訓練神經網絡的方法和裝置

有效

• 申請號: 202010089892.2
• 申請日: 2020-02-13
• 公開（公告）號: CN111310896B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 彭冕;傅依;文石磊;章宏武;孫昊
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/26;G06N3/0464;G06N3/0985
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于訓練神經網絡的方法，包括：

獲取訓練樣本；

利用所述訓練樣本對初始神經網絡進行訓練，確定初始神經網絡是否達到收斂；

響應于確定出初始神經網絡達到收斂，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，以及確定初始神經網絡是否滿足預設的訓練結束條件；

響應于確定出初始神經網絡滿足所述訓練結束條件，生成訓練完成的神經網絡。

2.根據權利要求1所述的方法，其中，所述采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，包括：

采用預設的周期余弦學習率，對初始神經網絡進行訓練，當初始神經網絡在每個周期訓練完成時，基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新。

3.根據權利要求2所述的方法，其中，所述基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新，包括：

確定初始神經網絡在上一個周期訓練完成時的網絡權重與當前的周期數的乘積，將所述乘積與初始神經網絡當前的網絡權重之和確定為第一數值；

將當前的周期數與預設數值之和確定為第二數值；

將所述第一數值與所述第二數值的比值確定為第三數值；

利用所述第三數值，對初始神經網絡的網絡權重進行更新。

4.根據權利要求1-3之一所述的方法，其中，所述訓練結束條件包括以下至少一項：

對初始神經網絡進行訓練的訓練時間超過預設時長；

對初始神經網絡進行訓練的訓練次數超過預設次數。

5.根據權利要求1-3之一所述的方法，其中，神經網絡包括圖像分割模型，所述訓練樣本包括樣本圖像和樣本分割結果；以及

所述確定初始神經網絡是否滿足預設的訓練結束條件，包括：

將所述訓練樣本中的樣本圖像輸入初始神經網絡中，得到分割結果；

確定得到的分割結果與對應的樣本分割結果之間的差異；

確定所述差異是否小于預設差異閾值。

6.一種用于訓練神經網絡的裝置，包括：

獲取單元，被配置成獲取訓練樣本；

確定單元，被配置成利用所述訓練樣本對初始神經網絡進行訓練，確定初始神經網絡是否達到收斂；

更新單元，被配置成響應于確定出初始神經網絡達到收斂，采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新，以及確定初始神經網絡是否滿足預設的訓練結束條件；

生成單元，被配置成響應于確定出初始神經網絡滿足所述訓練結束條件，生成訓練完成的神經網絡。

7.根據權利要求6所述的裝置，其中，所述更新單元進一步被配置成按照如下方式采用預設的周期余弦學習率，對初始神經網絡的網絡權重進行更新：

采用預設的周期余弦學習率，對初始神經網絡進行訓練，當初始神經網絡在每個周期訓練完成時，基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新。

8.根據權利要求7所述的裝置，其中，所述更新單元進一步被配置成按照如下方式基于初始神經網絡當前的網絡權重、初始神經網絡在上一個周期訓練完成時的網絡權重和當前的周期數，對初始神經網絡的網絡權重進行更新：

確定初始神經網絡在上一個周期訓練完成時的網絡權重與當前的周期數的乘積，將所述乘積與初始神經網絡當前的網絡權重之和確定為第一數值；

將當前的周期數與預設數值之和確定為第二數值；

將所述第一數值與所述第二數值的比值確定為第三數值；

利用所述第三數值，對初始神經網絡的網絡權重進行更新。