[發(fā)明專(zhuān)利]一種基于Spark的網(wǎng)格水文模型分布式計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110330831.5
• 申請(qǐng)日: 2021-03-26
• 公開(kāi)（公告）號(hào): CN112948123B
• 公開(kāi)（公告）日: 2023-02-28
• 發(fā)明（設(shè)計(jì)）人: 王繼民;李嘉瑋;李永超
• 申請(qǐng)（專(zhuān)利權(quán)）人: 河海大學(xué)
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F9/48
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 柏尚春

1.一種基于Spark的網(wǎng)格水文模型分布式計(jì)算方法，其特征在于，包括如下步驟：

(1)采用netCDF數(shù)據(jù)格式描述模型參數(shù)，建立參數(shù)文件PFile；

(2)采用XML描述模型構(gòu)件及其依賴(lài)關(guān)系，建立模型描述文件MFile；

(3)基于Spark的模型構(gòu)件調(diào)度和計(jì)算模型GridCSC分析模型描述文件MFile，根據(jù)模型計(jì)算構(gòu)件之間的依賴(lài)關(guān)系、網(wǎng)格依賴(lài)關(guān)系以及相應(yīng)的模型參數(shù)，進(jìn)行模型的分布式計(jì)算，其步驟包括：

(3.1)從MFile獲取模型構(gòu)件信息以及構(gòu)件之間的依賴(lài)關(guān)系，根據(jù)計(jì)算構(gòu)件之間的依賴(lài)關(guān)系確定構(gòu)件的計(jì)算順序圖；

(3.2)循環(huán)對(duì)所有同時(shí)計(jì)算的構(gòu)件進(jìn)行并行計(jì)算，每次循環(huán)計(jì)算沒(méi)有任何前置依賴(lài)的構(gòu)件，直到所有構(gòu)件計(jì)算完畢；若構(gòu)件a的前置構(gòu)件已經(jīng)計(jì)算時(shí)，則認(rèn)為構(gòu)件a沒(méi)有前置依賴(lài)；

(3.3)構(gòu)件計(jì)算時(shí)，如果該構(gòu)件中的網(wǎng)格是獨(dú)立的，則進(jìn)行獨(dú)立網(wǎng)格計(jì)算，如果待計(jì)算的網(wǎng)格之間具有依賴(lài)關(guān)系，則采用依賴(lài)網(wǎng)格計(jì)算，其步驟包括：

(3.3.1)通過(guò)“流域網(wǎng)格依賴(lài)關(guān)系”參數(shù)信息得到網(wǎng)格之間的依賴(lài)關(guān)系；

(3.3.2)根據(jù)網(wǎng)格依賴(lài)關(guān)系通過(guò)動(dòng)態(tài)數(shù)據(jù)劃分方法進(jìn)行網(wǎng)格計(jì)算任務(wù)劃分，確定當(dāng)前可計(jì)算的網(wǎng)格中分配到每個(gè)Worker上的待計(jì)算網(wǎng)格；

(3.3.3)Master節(jié)點(diǎn)將計(jì)算網(wǎng)格分配給對(duì)應(yīng)的Worker節(jié)點(diǎn)，Master節(jié)點(diǎn)從參數(shù)文件PFile中或RDD中解析出計(jì)算所需參數(shù)，根據(jù)分區(qū)結(jié)果將網(wǎng)格參數(shù)傳輸給對(duì)應(yīng)計(jì)算節(jié)點(diǎn)，Worker節(jié)點(diǎn)調(diào)用構(gòu)件計(jì)算接口，進(jìn)行網(wǎng)格計(jì)算；

(3.3.4)參數(shù)聚合構(gòu)件聚合各Worker節(jié)點(diǎn)的計(jì)算結(jié)果，形成構(gòu)件計(jì)算結(jié)果的RDD存儲(chǔ)；

(3.3.5)判斷網(wǎng)格是否計(jì)算完畢，若沒(méi)有計(jì)算完，則刪除已完成計(jì)算網(wǎng)格，更新未計(jì)算網(wǎng)格對(duì)應(yīng)的上游網(wǎng)格信息，然后轉(zhuǎn)到(3.3.2)；

(3.4)構(gòu)件計(jì)算的結(jié)果通過(guò)處于Master的參數(shù)聚合構(gòu)件聚合成RDD結(jié)構(gòu)，并通過(guò)廣播傳遞給下一個(gè)依賴(lài)的構(gòu)件；

(4)參數(shù)聚合構(gòu)件在Master節(jié)點(diǎn)中聚合每個(gè)構(gòu)件計(jì)算的RDD結(jié)果，并通過(guò)廣播發(fā)送給各Worker節(jié)點(diǎn)，供后繼構(gòu)件計(jì)算使用；

(5)計(jì)算完畢后，參數(shù)聚合構(gòu)件采用netCDF格式輸出各構(gòu)件的計(jì)算結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于Spark的網(wǎng)格水文模型分布式計(jì)算方法，其特征在于，所述步驟(1)中進(jìn)行參數(shù)數(shù)據(jù)描述時(shí)，描述的參數(shù)包括：

模型參數(shù)：模型參數(shù)是指模型在執(zhí)行時(shí)所需要的相關(guān)系數(shù)、常量；

流域下墊面參數(shù)：流域下墊面參數(shù)是描述流域下墊特征信息；包括流域高程、流域水系、流域網(wǎng)格依賴(lài)關(guān)系、植被覆蓋、土質(zhì)類(lèi)型；

流域歷史降雨和水文數(shù)據(jù)：流域歷史降雨和水文數(shù)據(jù)是已經(jīng)監(jiān)測(cè)的流域降雨、流量水位數(shù)據(jù)、蒸散發(fā)數(shù)據(jù)以及土壤含水量數(shù)據(jù)；

流域?qū)崟r(shí)、未來(lái)降雨參數(shù)：流域?qū)崟r(shí)、未來(lái)降雨是從其他來(lái)源獲取的流域當(dāng)前時(shí)刻以及未來(lái)降雨的數(shù)據(jù)，用于模型的預(yù)報(bào)。

3.根據(jù)權(quán)利要求1所述的一種基于Spark的網(wǎng)格水文模型分布式計(jì)算方法，其特征在于，所述步驟(1)中進(jìn)行參數(shù)數(shù)據(jù)描述時(shí)，描述規(guī)范包括：

坐標(biāo)系統(tǒng)、時(shí)間系統(tǒng)以及參屬性的描述遵守netCDF-CF-1.6即Climate and Forecastconvension 1.6版本的約束；對(duì)每個(gè)參數(shù)的描述包括：參數(shù)名稱(chēng)、參數(shù)標(biāo)識(shí)、參數(shù)類(lèi)型、參數(shù)值、參數(shù)說(shuō)明五方面；其中，流域下墊面參數(shù)，流域歷史降雨、水文數(shù)據(jù)，流域?qū)崟r(shí)和未來(lái)降雨數(shù)據(jù)的描述采用多維向量的網(wǎng)格化進(jìn)行描述；

網(wǎng)格化參數(shù)描述時(shí)，坐標(biāo)系統(tǒng)采用經(jīng)緯度坐標(biāo)，定義坐標(biāo)變量lon、lat分別標(biāo)識(shí)經(jīng)度和緯度，單位即untis屬性分別為degree_east和degree_north；取值為float類(lèi)型；時(shí)間系統(tǒng)通過(guò)時(shí)間坐標(biāo)變量的untis屬性設(shè)置起始時(shí)間，通過(guò)時(shí)間坐標(biāo)變量的取值確定每個(gè)數(shù)據(jù)的時(shí)間點(diǎn)。