[發明專利]循環網絡模型訓練時顯存空間的分配方法和裝置

有效

• 申請號: 202011186142.3
• 申請日: 2020-10-29
• 公開（公告）號: CN112329834B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 徐揚凱;王桂彬
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/0464;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種循環網絡模型訓練時顯存空間的分配方法，包括：

獲取循環網絡模型，其中，所述循環網絡模型包括多個模型層；

獲取每個所述模型層的算子；

確定所述算子和輸入數據在時序上的依賴關系

當所述依賴關系為所述算子的輸入依賴當前時刻的輸入數據時，所述依賴關系對應的模型層為第一優化類型；

當所述依賴關系為所述算子的輸入依賴當前時刻及前L個時刻的輸入數據時，所述依賴關系對應的模型層為第二優化類型；以及

當所述依賴關系為所述算子的輸入依賴所有時刻的輸入數據時，所述依賴關系對應的模型層為第三優化類型；

獲取樣本數據，并確定所述樣本數據的序列長度；以及

根據每個優化類型的算子的輸入依賴的輸入數據時刻和所述序列長度對所述樣本數據對應的顯存空間進行分配。

2.根據權利要求1所述的循環網絡模型訓練時顯存空間的分配方法，其中，所述依賴關系包括算子的輸入依賴當前時刻的輸入數據、算子的輸入依賴當前時刻及前L個時刻的輸入數據和算子的輸入依賴所有時刻的輸入數據，所述L為正整數。

3.根據權利要求2所述的循環網絡模型訓練時顯存空間的分配方法，其中，所述根據每個優化類型的算子的輸入依賴的輸入數據時刻和所述序列長度對所述樣本數據對應的顯存空間進行分配，包括：

當所述優化類型為所述第一優化類型時，為所述優化類型對應的模型層分配序列長度為1的顯存空間；

當所述優化類型為所述第二優化類型時，為所述優化類型對應的模型層分配序列長度為所述L+1的顯存空間；以及

當所述優化類型為所述第三優化類型時，為所述優化類型對應的模型層分配所述樣本數據的序列長度的顯存空間。

4.一種循環網絡模型訓練時顯存空間的分配裝置，包括：

第一獲取模塊，用于獲取循環網絡模型，其中，所述循環網絡模型包括多個模型層；

第二獲取模塊，包括：

第一獲取單元，用于獲取每個所述模型層的算子；

確定單元，用于確定所述算子和輸入數據在時序上的依賴關系；

第二獲取單元，用于當所述依賴關系為所述算子的輸入依賴當前時刻的輸入數據時，確定所述依賴關系對應的模型層為第一優化類型；

當所述依賴關系為所述算子的輸入依賴當前時刻及前L個時刻的輸入數據時，確定所述依賴關系對應的模型層為第二優化類型；以及

當所述依賴關系為所述算子的輸入依賴所有時刻的輸入數據時，確定所述依賴關系對應的模型層為第三優化類型；

確定模塊，用于獲取樣本數據，并確定所述樣本數據的序列長度；以及

分配模塊，用于根據每個優化類型的算子的輸入依賴的輸入數據時刻和所述序列長度對所述樣本數據對應的顯存空間進行分配。

5.根據權利要求4所述的循環網絡模型訓練時顯存空間的分配裝置，其中，所述依賴關系包括算子的輸入依賴當前時刻的輸入數據、算子的輸入依賴當前時刻及前L個時刻的輸入數據和算子的輸入依賴所有時刻的輸入數據，所述L為正整數。

6.根據權利要求4所述的循環網絡模型訓練時顯存空間的分配裝置，其中，所述分配模塊，具體用于：

當所述優化類型為所述第一優化類型時，為所述優化類型對應的模型層分配序列長度為1的顯存空間；

當所述優化類型為所述第二優化類型時，為所述優化類型對應的模型層分配序列長度為所述L+1的顯存空間；以及

當所述優化類型為所述第三優化類型時，為所述優化類型對應的模型層分配所述樣本數據的序列長度的顯存空間。

7.一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-3中任一項所述的循環網絡模型訓練時顯存空間的分配方法。

8.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行權利要求1-3中任一項所述的循環網絡模型訓練時顯存空間的分配方法。