[發明專利]基于眾核集群的大數據并發調度及加速處理方法

有效

• 申請號: 202110430909.0
• 申請日: 2021-04-21
• 公開（公告）號: CN113190511B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 王勇;周生輝;劉圓圓;魏志強;賈東寧;桂琳
• 申請（專利權）人: 中國海洋大學;青島海洋科學與技術國家實驗室發展中心
• 主分類號: G06F16/16
• 分類號: G06F16/16
• 代理公司: 北京艾格律詩專利代理有限公司 11924
• 代理人: 王子溟

1.一種基于眾核集群的大數據并發調度及加速處理方法，其特征在于，所述基于眾核集群的大數據并發調度及加速處理方法包括：

獲取海洋數據文件；

拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件，其中，各個海洋數據子文件具有相同的分辨率以及時間步長；

通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件，所述時空數據文件具有與所述海洋數據子文件不同的分辨率以及時間步長；所述拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件包括：

根據球面八分體剖分網格、變量名稱、深度信息及時間信息對所述海洋數據文件進行拆分，從而獲得至少兩個海洋數據子文件；所述通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

并行系統通過自適應調度方式和/或固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件；所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述通過自適應調度方式對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

調度節點獲取各個海洋數據子文件中需要加速處理的海洋數據子文件的信息；

調度節點通過MPI點對點的方式將需要處理的海洋數據子文件的信息分發給各個計算任務空閑節點；所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述并行系統通過固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件包括：

調度節點獲取此次任務的計算任務空閑節點的數量；

調度節點獲取需要加速處理的海洋數據子文件的信息；

調度節點根據需要加速處理的海洋數據子文件的信息生成任務群，所述任務群中包括多個任務；

所述調度節點為每個計算任務空閑節點分配至少一個任務；

每個所述計算任務空閑節點根據任務對需要加速處理的海洋數據子文件進行處理。

2.如權利要求1所述的基于眾核集群的大數據并發調度及加速處理方法，其特征在于，每個所述計算任務空閑節點包括主核以及至少兩個從核，每個所述計算任務空閑節點根據任務對需要加速處理的海洋數據子文件進行處理包括：

每個計算任務空閑節點的主核根據自己的ID號，自調度節點處所述獲取對應的任務文件；

每個計算任務空閑節點的從核自其對應的主核處獲取需要處理的數據并對所述數據進行處理。

3.如權利要求2所述的基于眾核集群的大數據并發調度及加速處理方法，其特征在于，所述每個計算任務空閑節點的主核自調度節點處所述獲取對應的任務文件包括一維數據；

所述每個計算任務空閑節點的從核自其對應的主核處獲取需要處理的數據并對所述數據進行處理包括：

根據所述一維數據的長度對所述一維數據進行劃分，從而形成多段一維數據分段；

每個從核獲取一段一維數據分段進行處理。

4.如權利要求3所述的基于眾核集群的大數據并發調度及加速處理方法，其特征在于，所述每個計算任務空閑節點的主核自調度節點處所述獲取對應的任務文件包括二維數據，所述二維數據包括行數據以及列數據；

所述每個計算任務空閑節點的從核自其對應的主核處獲取需要處理的數據并對所述數據進行處理包括：

根據所述一維數據的行數據對所述二維數據進行劃分，從而形成多段二維數據分段；

每個從核獲取一段二維數據分段進行處理。

5.一種海洋數據文件并行處理系統，其特征在于，所述海洋數據文件并行處理系統包括：

海洋數據文件獲取模塊，所述海洋數據文件獲取模塊用于獲取海洋數據文件；

拆分模塊，所述拆分模塊用于拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件，其中，各個海洋數據子文件具有相同的分辨率以及時間步長；

并行系統，所述并行系統用于對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件，所述時空數據文件具有與所述海洋數據子文件不同的分辨率以及時間步長；所述并行系統包括至少兩個以上計算任務空閑節點；

所述拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件包括：

根據球面八分體剖分網格、變量名稱、深度信息及時間信息對所述海洋數據文件進行拆分，從而獲得至少兩個海洋數據子文件；所述通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

并行系統通過自適應調度方式和/或固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件；所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述通過自適應調度方式對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

調度節點獲取各個海洋數據子文件中需要加速處理的海洋數據子文件的信息；

調度節點通過MPI點對點的方式將需要處理的海洋數據子文件的信息分發給各個計算任務空閑節點；所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述并行系統通過固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件包括：

調度節點獲取此次任務的計算任務空閑節點的數量；

調度節點獲取需要加速處理的海洋數據子文件的信息；

調度節點根據需要加速處理的海洋數據子文件的信息生成任務群，所述任務群中包括多個任務；

所述調度節點為每個計算任務空閑節點分配至少一個任務；

每個所述計算任務空閑節點根據任務對需要加速處理的海洋數據子文件進行處理。