[發明專利]基于眾核集群的大數據并發調度及加速處理方法

有效

• 申請號: 202110430909.0
• 申請日: 2021-04-21
• 公開（公告）號: CN113190511B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 王勇;周生輝;劉圓圓;魏志強;賈東寧;桂琳
• 申請（專利權）人: 中國海洋大學;青島海洋科學與技術國家實驗室發展中心
• 主分類號: G06F16/16
• 分類號: G06F16/16
• 代理公司: 北京艾格律詩專利代理有限公司 11924
• 代理人: 王子溟

本申請公開了一種基于眾核集群的大數據并發調度及加速處理方法。所述基于眾核集群的大數據并發調度及加速處理方法包括：獲取海洋數據文件；拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件，其中，各個海洋數據子文件具有相同的分辨率以及時間步長；通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件，所述時空數據文件具有與所述海洋數據子文件不同的分辨率以及時間步長。通過采用本申請的基于眾核集群的大數據并發調度及加速處理方法能夠根據需要更改獲取到的時空數據文件的分辨率以及時間步長，并且計算速度快。

技術領域

本發明涉及并行處理技術領域，具體涉及一種基于眾核集群的大數據并發調度及加速處理方法以及海洋數據文件并行處理系統。

背景技術

海洋數值模擬是以現實海洋為基本物理背景,以高性能計算機為載體,按照物理規律,建立數學模型,從而對海洋狀態(包括海溫、鹽度、海流、海浪、潮汐等要素)進行模擬,參數化、定量化地描述海洋的具體狀況。隨著計算機計算能力的飛速提升,海洋數值模擬近年來得到了極大的發展,逐漸成為海洋大數據的重要來源。其中CESM是眾多海洋數值模系統中的佼佼者，其產生的數據量巨大，以數T的數量計算。對后續的的應用處理上比較困難。為解決模式系統產生大量數據無法及時處理的問題，從而發明本系統方法，以達到數千萬數量級的并行數據處理系統能力。

CESM是由美國國家大氣中心于2010年發布的新一代地球系統模式，是目前最先進、使用最廣泛的地球系統模式之一。CESM利用耦合器協同大氣、海洋、陸面、海冰等分量模式進行氣候模擬。

發明內容

本發明的目的在于提供一種基于眾核集群的大數據并發調度及加速處理方法，來克服或至少減輕現有技術的至少一個上述缺陷。

本發明的一個方面，提供一種基于眾核集群的大數據并發調度及加速處理方法，所述基于眾核集群的大數據并發調度及加速處理方法包括：

獲取海洋數據文件；

拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件，其中，各個海洋數據子文件具有相同的分辨率以及時間步長；

通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件，所述時空數據文件具有與所述海洋數據子文件不同的分辨率以及時間步長。

可選地，所述拆分所述海洋數據文件，從而獲得至少兩個海洋數據子文件包括：

根據球面八分體剖分網格、變量名稱、深度信息及時間信息對所述海洋數據文件進行拆分，從而獲得至少兩個海洋數據子文件。

可選地，所述通過并行系統對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

并行系統通過自適應調度方式和/或固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件。

可選地，所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述通過自適應調度方式對每個海洋數據子文件進行并行處理，從而獲得至少一個時空數據文件包括：

調度節點獲取各個海洋數據子文件中需要加速處理的海洋數據子文件的信息；

調度節點通過MPI點對點的方式將需要處理的海洋數據子文件的信息分發給各個計算任務空閑節點。

可選地，所述并行系統包括調度節點以及至少兩個計算任務空閑節點，所述并行系統通過固定式調度方式對每個海洋數據子文件進行并行加速處理，從而獲得至少一個時空數據文件包括：

調度節點獲取此次任務的計算任務空閑節點的數量；

調度節點獲取需要加速處理的海洋數據子文件的信息；

調度節點根據需要加速處理的海洋數據子文件的信息生成任務群，所述任務群中包括多個任務；