[發明專利]一種百億百GB量級網格數據文件的并行讀入方法

在審

• 申請號: 202011183930.7
• 申請日: 2020-10-29
• 公開（公告）號: CN112463360A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 王年華;常興華;趙鐘;張來平
• 申請（專利權）人: 空氣動力學國家重點實驗室
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/16
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 孫杰

1.一種百億百GB量級網格數據文件的并行讀入方法，其特征在于，針對多個物體產生的超大規模網格數據采用分組文件進行存儲，每個分組包括多個文件，每個文件包含多個數據分區；讀取時，采用多個文件進程進行文件讀取，并發送至相應的非文件進程，進行數據負載均衡調配。

2.根據權利要求1所述的百億百GB量級網格數據文件的并行讀入方法，其特征在于，具體讀取方法：

若進程數大于文件數，取文件進程數等于文件數，每個文件進程讀取一個文件，讀取之后將網格數據發送到非文件進程，實現負載均衡；

若進程數小于文件數，當文件數是進程數的整數倍時，文件進程數取總進程數，所有進程均讀取文件，且每個進程讀取的文件數相同；當文件數不為進程數的整數倍時，在滿足每個文件進程讀取文件數相同的前提下，文件進程的數量不大于總進程數。

3.根據權利要求2所述的百億百GB量級網格數據文件的并行讀入方法，其特征在于，多個物體產生的網格數據分組存儲，每個物體作為一個分組，每組包括多個文件，每個網格數據文件中含有多個網格分區數據。

4.根據權利要求3所述的百億百GB量級網格數據文件的并行讀入方法，其特征在于，每個網格分區數據中的數據量大致相同。

5.根據權利要求3或4所述的百億百GB量級網格數據文件的并行讀入方法，其特征在于，若每個進程上分區數相同，則無需進行分區數據調配，若每個進程上分區數不同，則對各個進程中的分區數據進行負載均衡調配。

6.根據權利要求5所述的百億百GB量級網格數據文件的并行讀入方法，其特征在于，具體均衡調配方法為：通過MPI通信使得每個進程處理同樣數量的網格分區數據。