[發明專利]數據并行化處理方法、系統、設備及存儲介質

有效

• 申請號: 201911373599.2
• 申請日: 2019-12-27
• 公開（公告）號: CN111145076B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 馬愷;熊超;牛昕宇;蔡權雄
• 申請（專利權）人: 深圳鯤云信息科技有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N3/063
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據并行化處理方法，其特征在于，包括：

從多個第一計算節點中確認具有邏輯關系的至少三個第一計算節點，將所述具有邏輯關系的至少三個第一計算節點定義為第一并行節點組，所述第一并行節點組包括第一前節點和至少兩個第一后節點；

獲取所述第一前節點的第一輸入數據模型并生成所述第一前節點的第一輸入張量；

根據所述第一輸入數據模型和所述第一輸入張量計算所述第一前節點的第一輸出張量；

獲取所述至少兩個第一后節點的第二輸入數據模型并將所述第一輸出張量作為第二輸入張量；

根據所述第二輸入數據模型和所述第二輸入張量分別計算所述至少兩個第一后節點的第二輸出張量，得到所述第一并行節點組的第一計算結果；

其中，在所述獲取所述第一前節點的第一輸入數據模型并生成所述第一前節點的第一輸入張量之前，還包括：

根據所述至少兩個第一后節點的數量確認所述第一前節點的引用次數；

其中，在所述根據所述第二輸入數據模型和第二輸入張量計算所述至少兩個第一后節點的第二輸出張量，得到所述第一并行節點組的第一計算結果之后，還包括：

判斷每個第一后節點是否完成計算；

在每個第一后節點完成計算后，分別對所述第一前節點的引用次數減一；

判斷所述第一前節點的引用次數是否為零；

在所述第一前節點的引用次數為零的情況下，刪除片上存儲的所述第一輸出張量并將所述第一輸出張量存儲到片外存儲器中；

其中，所述在所述第一前節點的引用次數為零的情況下，刪除片上存儲的所述第一輸出張量并將所述第一輸出張量存儲到片外存儲器中之后，還包括：

判斷所述第一并行節點組的所述至少兩個第一后節點的下游是否存在以所述至少兩個第一后節點中的任一節點為第二前節點的第二并行節點組，所述第二并行節點組包括所述第二前節點和至少兩個第二后節點；

在所述第一后節點的下游存在以所述至少兩個第一后節點中的任一節點為第二前節點的第二并行節點組的情況下，獲取所述第二前節點的第三輸入數據模型并生成所述第二前節點的第三輸入張量；根據所述第三輸入數據模型和第三輸入張量計算所述第二前節點的第三輸出張量；獲取所述至少兩個第二后節點的第四輸入數據模型并將所述第三輸出張量作為第四輸入張量；根據所述第四輸入數據模型和第四輸入張量分別計算所述至少兩個第二后節點的第四輸出張量，得到所述第二并行節點組的第二計算結果；

在所述第一后節點的下游不存在所述第二并行節點組的情況下，接收計算完成指令以結束計算。

2.根據權利要求1所述的方法，其特征在于，所述從多個第一計算節點中確認具有邏輯關系的至少三個第一計算節點，將所述具有邏輯關系的至少三個第一計算節點定義為第一并行節點組，包括：

判斷所述至少三個第一計算節點是否包括具有邏輯關系的所述第一前節點和所述至少兩個第一后節點；

響應于所述至少三個第一計算節點包括具有邏輯關系的所述第一前節點和所述至少兩個第二后節點，將所述至少三個第一計算節點定義為所述第一并行節點組。

3.根據權利要求1所述的方法，其特征在于，在所述獲取所述第一前節點的第一輸入數據模型并生成所述第一前節點的第一輸入張量之前，還包括：

對所述第一并行節點組的所述第一前節點和所述至少兩個第一后節點進行加鎖。

4.根據權利要求1所述的方法，其特征在于，在所述第一前節點的引用次數為零的情況下，刪除片上存儲的所述第一輸出張量并將所述第一輸出張量存儲到片外存儲器中之后，還包括：

刪除所述片上存儲的與所述第一前節點對應的計算圖。