[發明專利]計算流程圖構建、計算效率優化方法、裝置及電子設備

有效

• 申請號: 202110433418.1
• 申請日: 2021-04-21
• 公開（公告）號: CN113238837B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 高鵬遠
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F11/32;G06F11/34
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種計算流程圖構建方法，其特征在于，包括：

獲取目標計算任務的各個子任務并為每一子任務分配計算節點；

根據各個子任務之間的依賴關系設置各個計算節點之間的數據管道，得到第一計算流程圖；

對所述第一計算流程圖的連接關系和/或計算節點進行優化處理，得到優化處理后的第二計算流程圖；

所述根據各個子任務之間的依賴關系設置各個計算節點之間的數據管道，包括：

根據各個計算節點之間的數據流向關系設置數據管道；

通過以下方式中的至少一種設置數據管道的類型：

當存在第一計算節點時，將所述第一計算節點的輸出端連接的數據管道設置為廣播管道；第一計算節點為將執行所述子任務后的數據同時傳輸至多個下一級計算節點的節點；

當存在第二計算節點時，將所述第二計算節點的輸出端連接的數據管道設置為多支路管道；所述第二計算節點為需要根據選擇條件選擇接收目標數據的下一級計算節點的節點，所述目標數據為所述第二計算節點執行所述子任務后產生的數據；

當存在第三計算節點時，將所述第三計算節點的數據輸入管道設置為合并管道；所述第三計算節點為能夠接收多個上一級計算節點執行所述子任務后的數據的節點；

當存在第四計算節點時，將所述第四計算節點的數據輸出管道設置為保序管道；所述第四計算節點為數據的接收順序與數據的輸出順序須保持一致的節點。

2.根據權利要求1所述的計算流程圖構建方法，其特征在于，對所述第一計算流程圖的連接關系進行優化處理，包括：

對所述第一計算流程圖中存在的錯誤連接關系進行優化。

3.根據權利要求2所述的計算流程圖構建方法，其特征在于，所述對所述第一計算流程圖中存在的錯誤連接關系進行優化，包括：

檢測所述第一計算流程圖的各個計算節點的輸入端及輸出端是否均連接有數據管道，并根據檢測結果對第一計算流程圖進行優化；

和/或，檢測所述第一計算流程圖的數據管道的輸入端及輸出端是否均連接有其他數據管道或計算節點，并根據檢測結果對第一計算流程圖進行優化；

和/或，檢測所述第一計算流程圖中是否存在未設置規則的數據管道，得到第三檢測結果，并根據檢測結果對第一計算流程圖進行優化。

4.根據權利要求1-3任一項所述的計算流程圖構建方法，其特征在于，對所述第一計算流程圖的計算節點進行優化處理，包括：

將所述第一計算流程圖中的不具有數據依賴關系的串行的計算節點調整為異步并行計算節點；

和/或，對所述第一計算流程圖中的各個計算節點以及數據管道進行參數設置；

和/或，對所述第一計算流程圖中的各個計算節點中滿足分裂條件的計算節點進行分裂處理。

5.根據權利要求4所述的計算流程圖構建方法，其特征在于，所述對所述第一計算流程圖中的各個計算節點以及數據管道進行參數設置，包括：

對數據管道設置緩存隊列的最大長度進行參數設置。

6.根據權利要求5所述的計算流程圖構建方法，其特征在于，所述對所述第一計算流程圖中的各個計算節點以及數據管道進行參數設置，包括：

對每一計算節點的最大批處理量以及相應的超時機制進行參數設置。

7.根據權利要求4所述的計算流程圖構建方法，其特征在于，所述對所述第一計算流程圖中的各個計算節點中滿足分裂條件的計算節點進行分裂處理，包括：

從所述第一計算流程圖的計算節點中篩選出目標計算節點；所述目標計算節點對應的子任務可以分裂為多個子任務；

將所述目標計算節點分裂為多個新計算節點。

8.根據權利要求7所述的計算流程圖構建方法，其特征在于，所述對所述第一計算流程圖中的各個計算節點中滿足分裂條件的計算節點進行分裂處理，還包括：

判斷所述多個新計算節點中是否存在目標計算節點；

若存在，則從所述多個新計算節點中篩選出目標計算節點，并返回執行所述將所述目標計算節點分裂為多個新計算節點的步驟；

若不存在，則結束分裂處理。