[發明專利]權重矩陣的更新方法、裝置及電子設備

有效

• 申請號: 202010162140.4
• 申請日: 2020-03-10
• 公開（公告）號: CN111461340B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 徐揚凱;王桂彬
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F17/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

1.一種權重矩陣的更新方法，其特征在于，包括：

獲取深度學習模型中序列節點的序列長度T，其中，T為正整數；

在進行第i序列節點學習時，獲取所述第i序列節點對應的輸入誤差，其中，i為小于或等于T的正整數；

將所述輸入誤差存儲至緩存，所述緩存的長度大于或等于1，且小于或等于T，所述緩存的長度是指緩存中包括的緩存單元的數量，其中，每個緩存單元用于存儲一個序列節點對應的輸入誤差；

判斷所述緩存是否已存滿；

如果所述緩存已存滿，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及

根據所述權重矩陣的梯度，更新所述深度學習模型對應的權重矩陣。

2.如權利要求1所述的權重矩陣的更新方法，其特征在于，所述判斷所述緩存是否已存滿之后，還包括：

如果所述緩存未存滿，則判斷所述序列節點是否均已學習完畢；

如果所述序列節點均已學習完畢，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及

根據所述權重矩陣的梯度，更新所述深度學習模型對應的權重矩陣。

3.如權利要求1所述的權重矩陣的更新方法，其特征在于，所述緩存的長度根據所述深度學習模型的參數設定。

4.如權利要求1-3任一所述的權重矩陣的更新方法，其特征在于，在所述根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度之后，還包括：

將所述緩存清空。

5.如權利要求1-3任一所述的權重矩陣的更新方法，其特征在于，所述深度學習模型為時序計算模型。

6.一種權重矩陣的更新裝置，其特征在于，包括：

第一獲取模塊，用于獲取深度學習模型中序列節點的序列長度T，其中，T為正整數；

第二獲取模塊，用于在進行第i序列節點學習時，獲取所述第i序列節點對應的輸入誤差，其中，i為小于或等于T的正整數；

存儲模塊，用于將所述輸入誤差存儲至緩存，所述緩存的長度大于或等于1，且小于或等于T，所述緩存的長度是指緩存中包括的緩存單元的數量，其中，每個緩存單元用于存儲一個序列節點對應的輸入誤差；

第一判斷模塊，用于判斷所述緩存是否已存滿；

第一計算模塊，用于如果所述緩存已存滿，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及

第一更新模塊，用于根據所述權重矩陣的梯度，更新所述深度學習模型對應的權重矩陣。

7.如權利要求6所述的權重矩陣的更新裝置，其特征在于，還包括：

第二判斷模塊，用于如果所述緩存未存滿，則判斷所述序列節點是否均已學習完畢；

第二計算模塊，用于如果所述序列節點均已學習完畢，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及

第二更新模塊，用于根據所述權重矩陣梯度，更新所述深度學習模型對應的權重矩陣。

8.如權利要求6所述的權重矩陣的更新裝置，其特征在于，所述緩存的長度根據所述深度學習模型的參數設定。

9.如權利要求6-8任一所述的權重矩陣的更新裝置，其特征在于，還包括：

清空模塊，用于將所述緩存清空。

10.如權利要求6-8任一所述的權重矩陣的更新裝置，其特征在于，所述深度學習模型為時序計算模型。

11.一種電子設備，其特征在于，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-5中任一項所述的方法。

12.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，所述計算機指令用于使所述計算機執行權利要求1-5中任一項所述的方法。