[發明專利]權重矩陣的更新方法、裝置及電子設備

有效

• 申請號: 202010162140.4
• 申請日: 2020-03-10
• 公開（公告）號: CN111461340B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 徐揚凱;王桂彬
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F17/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本申請提出一種權重矩陣的更新方法、裝置及電子設備，屬于深度學習技術領域。其中，該方法包括：獲取深度學習模型中序列節點的序列長度T，其中，T為正整數；在進行第i序列節點學習時，獲取第i序列節點對應的輸入誤差，其中，i為小于或等于T的正整數；將輸入誤差存儲至緩存；判斷緩存是否已存滿；如果緩存已存滿，則根據緩存中存儲的各輸入誤差計算權重矩陣的梯度；根據權重矩陣的梯度，更新深度學習模型對應的權重矩陣。由此，通過這種權重矩陣的更新方法，不僅可以高效利用存儲空間，極大釋放硬件性能，而且提高了模型的計算速度。

技術領域

本申請涉及計算機技術領域，尤其涉及深度學習技術領域，提出一種權重矩陣的更新方法、裝置及電子設備。

背景技術

深度學習計算框架在實際的模型訓練過程中，需要一定的存儲空間對模型訓練過程中產生的中間數據進行存儲。而模型訓練過程中的存儲空間開銷與計算速度之間相互關聯。

相關技術中，在時序計算模型中，通常在每個時刻均計算模型的權重矩陣梯度，以對模型對應的權重矩陣進行更新，從而不僅無法充分利用存儲空間，而且降低了模型的計算速度。

發明內容

本申請提出的權重矩陣的更新方法、裝置及電子設備，用于解決相關技術中，在時序計算模型中，通常在每個時刻均計算模型的權重矩陣梯度，以對模型對應的權重矩陣進行更新，從而不僅無法充分利用存儲空間，而且降低了模型的計算速度的問題。

本申請一方面實施例提出的權重矩陣的更新方法，包括：獲取深度學習模型中序列節點的序列長度T，其中，T為正整數；在進行第i序列節點學習時，獲取所述第i序列節點對應的輸入誤差，其中，i為小于或等于T的正整數；將所述輸入誤差存儲至緩存；判斷所述緩存是否已存滿；如果所述緩存已存滿，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及根據所述權重矩陣的梯度，更新所述深度學習模型對應的權重矩陣。

本申請另一方面實施例提出的權重矩陣的更新裝置，包括：第一獲取模塊，用于獲取深度學習模型中序列節點的序列長度T，其中，T為正整數；第二獲取模塊，用于在進行第i序列節點學習時，獲取所述第i序列節點對應的輸入誤差，其中，i為小于或等于T的正整數；存儲模塊，用于將所述輸入誤差存儲至緩存；第一判斷模塊，用于判斷所述緩存是否已存滿；第一計算模塊，用于如果所述緩存已存滿，則根據所述緩存中存儲的各輸入誤差計算權重矩陣的梯度；以及第一更新模塊，用于根據所述權重矩陣的梯度，更新所述深度學習模型對應的權重矩陣。

本申請再一方面實施例提出的電子設備，其包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如前所述的權重矩陣的更新方法。

本申請又一方面實施例提出的存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，所述計算機指令用于使所述計算機執行如前所述的權重矩陣的更新方法。

上述申請中的任一個實施例具有如下優點或有益效果：通過預設一定長度的緩存用于存儲模型的計算誤差，并在緩存存滿時再根據緩存中存儲的誤差計算權重矩陣的梯度，從而通過緩存機制，不僅可以高效利用存儲空間，極大釋放硬件性能，而且提高了模型的計算速度。因為采用了通過獲取深度學習模型中序列節點的序列長度T，并在進行第i序列節點學習時，獲取第i序列節點對應的輸入誤差，之后將輸入誤差存儲至緩存，進而在緩存已存滿時，根據緩存中存儲的各輸入誤差計算權重矩陣的梯度，以根據權重矩陣的梯度，更新深度學習模型對應的權重矩陣的技術手段，所以克服了模型訓練過程中不僅無法充分利用存儲空間，而且降低了模型的計算速度的問題，進而達到了高效利用存儲空間，極大釋放硬件性能，提高模型計算速度的技術效果。

上述可選方式所具有的其他效果將在下文中結合具體實施例加以說明。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：