[發明專利]一種百億百GB量級網格數據文件的并行讀入方法

在審

• 申請號: 202011183930.7
• 申請日: 2020-10-29
• 公開（公告）號: CN112463360A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 王年華;常興華;趙鐘;張來平
• 申請（專利權）人: 空氣動力學國家重點實驗室
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/16
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 孫杰

本發明提供了一種百億百GB量級網格數據文件的并行讀入方法，針對多個物體產生的超大規模網格數據文件采用分組文件進行存儲，每個分組包括多個文件，每個文件包含多個數據分區；讀取時，采用多個文件進程進行文件讀取，并發送至相應的非文件進程，進行數據負載均衡調配。采用本發明提出的方法，能夠極大的提高網格文件IO效率，在讀取同樣的超大規模網格數據時，本發明技術方案耗時僅為現有技術耗時的1/50?1/10。本發明可以極大節約網格數據讀入時間，提高計算效率和經濟效益。

技術領域

本發明涉及數據處理領域，特別涉及一種百億百GB量級網格數據文件的并行讀入方法。

背景技術

本發明涉及隨著計算機技術和數值方法的飛速發展，計算流體力學(ComputationalFluidDynamics,CFD)數值模擬在航空航天等領域已得到越來越廣泛的應用。經過幾十年的發展，基于雷諾平均NS(ReynoldsAveragedNavier-Stokes,RANS)方程的常規狀態氣動力/力矩預測已經不存在太大難度，但是在遇到漩渦、分離、轉捩、湍流噪聲、湍流燃燒等非定常、非線性現象明顯的流動時，在千萬量級網格上求解RANS方程已經無法得到足夠精確的數值解，這時就需要采用更大規模的網格、采用更高保真度的數值方法，如大渦模擬(LargeEddySimulation,LES)和直接數值模擬(DirectNumericalSimulation,DNS)等方法。這些方法的共同特點就是對網格量要求很高，通常認為LES方法在黏性底層內對網格量的需求達到Re^1.8量級，而DNS則要求網格量達到Re^9/4。對于實際飛行器外形，雷諾數Re通常在10⁶量級以上，那么網格量則至少要達到百億量級以上，才能滿足算法對多尺度流動結構的分辨率要求。

在網格規模在千萬量級時，所有網格和流場數據均存儲在單個文件中，文件大小在1GB量級，這時文件存儲和串行讀寫均不會對計算機文件系統造成太大壓力，存儲和讀寫效率仍在可接受的水平。但是當網格量達到百億量級時，網格文件、流場文件將達到幾百GB量級，如果仍將數據存儲在單個文件中，采用單個進程進行串行讀寫，文件讀寫速度勢必會急劇下降，造成CFD計算效率難以接受。

因此，針對百億量級網格高效存儲和IO的實際需求，需要發展新的文件存儲和并行IO方法，為未來飛行器的超大規模網格高分辨率數值模擬奠定基礎。

發明內容

針對現有技術中存在的問題，提供了一種百億百GB量級網格數據文件的并行讀入方法。

本發明采用的技術方案如下：百億百GB量級網格數據文件的并行讀入方法，針對多個物體產生的超大規模網格數據文件采用分組進行存儲，每個分組包括多個文件，每個文件包含多個數據分區；讀取時，采用多個文件進程進行文件讀取，并發送至相應的非文件進程，進行數據負載均衡調配。

進一步的，具體讀取方法：

若進程數大于文件數，取文件進程數等于文件數，每個文件進程讀取一個文件，讀取之后將網格數據發送到非文件進程，實現負載均衡；

若進程數小于文件數，當文件數是進程數的整數倍時，文件進程數取總進程數，所有進程均讀取文件，且每個進程讀取的文件數相同；當文件數不為進程數的整數倍時，在滿足每個文件進程讀取文件數相同的前提下，文件進程的數量不大于總進程數；

進一步的，多個物體產生的網格數據分組存儲，每個物體作為一個分組，每組包括多個文件，每個網格數據文件中含有多個網格分區數據。

進一步的，每個網格分區數據中的數據量大致相同。

進一步的，若每個進程上的分區數不同，則對各個進程中的分區數據進行均衡調配。

進一步的，具體均衡調配方法為：通過MPI通信使得每個進程處理同樣數量的分區。