[發(fā)明專利]一種集群環(huán)境下分布式水文模擬的并行化方法

有效

• 申請?zhí)枺?/td>: 201310011570.6
• 申請日: 2013-01-11
• 公開（公告）號: CN103092572A
• 公開（公告）日: 2013-05-08
• 發(fā)明（設(shè)計）人: 朱阿興;劉軍志;吳輝;劉永波;秦承志
• 申請（專利權(quán)）人: 中國科學(xué)院地理科學(xué)與資源研究所
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F19/00
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 賈玉忠

技術(shù)領(lǐng)域

本發(fā)明涉及一種集群環(huán)境下分布式水文模擬的并行化方法，技術(shù)應(yīng)用領(lǐng)域為水文模擬。

背景技術(shù)

分布式水文模擬考慮了各種地理要素的空間異質(zhì)性，與集總式模擬相比能更準(zhǔn)確地表達(dá)流域水文過程，從而能更好地預(yù)測自然和人為因素對流域水資源和水環(huán)境的影響。隨著遙感和地理信息技術(shù)的發(fā)展，高分辨率的地形、植被、土壤和降水?dāng)?shù)據(jù)的獲取日益方便?；谶@些高空分辨率的數(shù)據(jù)進(jìn)行精細(xì)水文模擬成為一個重要的發(fā)展方向。但是由于計算能力的限制，當(dāng)前高分辨率精細(xì)模擬一般僅限于小流域短歷時模擬。要進(jìn)行大流域長時段的精細(xì)模擬需要借助并行計算的支持。

集群是當(dāng)前并行計算的主流平臺。在集群環(huán)境下進(jìn)行分布式水文模型的并行化一般采用以子流域為單元進(jìn)行區(qū)域分解的方式。子流域是流域的自然劃分單元，基于子流域進(jìn)行并行計算只需在子流域出口與相鄰子流域進(jìn)行數(shù)據(jù)交換，并行執(zhí)行的任務(wù)之間通信量很小，因此在集群環(huán)境下，基于子流域的并行計算是一種合理的分布式水文模擬并行化方式。

現(xiàn)有基于子流域的并行化方法將坡面過程與河道過程的計算作為一個整體進(jìn)行調(diào)度，調(diào)度規(guī)則如下：不存在上下游關(guān)系的子流域可以并行計算，存在上下游關(guān)系的子流域需串行執(zhí)行。將流域用樹型結(jié)構(gòu)表示，則樹型結(jié)構(gòu)中從葉子節(jié)點（代表源頭子流域）到根節(jié)點（代表出口子流域）的最長通路的計算時間決定了并行計算的最短時間。在計算節(jié)點數(shù)超過一定數(shù)目時，并行計算時間不會隨節(jié)點數(shù)增多而減少，并行加速比達(dá)到一個上限。該加速比上限導(dǎo)致了基于子流域的并行算法可伸縮性較差的問題。

目前國內(nèi)外尚沒有解決這一問題的技術(shù)。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是：為克服集群環(huán)境下現(xiàn)有基于子流域的分布式水文模擬并行化方法存在的加速比上限問題，提供一種坡面與河道過程分離的分布式水文模擬并行化方法。該方法將作為并行計算限制因子的河道過程與可并行性較好的坡面過程分離，對坡面和河道過程采用不同的并行策略和調(diào)度方法，能突破現(xiàn)有并行方法中存在的最大加速比問題，有效地提高了分布式水文模擬的并行計算性能。實際應(yīng)用證明，通過使用本發(fā)明，大流域高分辨率分布式水文模擬的效率得到很大提升。

本發(fā)明的技術(shù)解決方案為：一種集群環(huán)境下分布式水文模擬的并行化方法，步驟如下：

（1）首先根據(jù)柵格DEM（Digital?Elevation?Model）將流域按照應(yīng)用目標(biāo)和流域特點劃分成多個子流域。子流域劃分過程包括填洼、提取流向、流量累積、河網(wǎng)提取、河網(wǎng)編碼、子流域提取和子流域分級等步驟。子流域分級的方法為：源頭子流域為第一級，非源頭子流域的級別為其上游河段的最大級別加1。子流域分級信息將用于下面步驟中子流域計算順序的確定。

（2）從DEM、土地利用圖、土壤圖、遙感影像等基礎(chǔ)信息中提取模型運行所需要的空間參數(shù)，這些參數(shù)以柵格數(shù)據(jù)方式存儲，包括：坡度、葉面積指數(shù)、土壤厚度、飽和導(dǎo)水率、最大孔隙率等。

（3）將模型所需的上述空間參數(shù)以子流域為模版進(jìn)行剖分，得到按子流域組織的空間數(shù)據(jù)圖層，并以二進(jìn)制格式存入數(shù)據(jù)庫，以方便以子流域為單元進(jìn)行高效數(shù)據(jù)讀寫。

（4）以子流域面積作為計算量的衡量指標(biāo)，同時考慮子流域間的拓?fù)潢P(guān)系進(jìn)行并行計算任務(wù)劃分。任務(wù)劃分一方面要考慮負(fù)載平衡，另一方面要將有上下游關(guān)系的子流域盡可能分配到一個進(jìn)程計算，以減少通信開銷。該分配問題屬于NP-Hard問題，無法在多項式時間內(nèi)獲得最優(yōu)解，可利用METIS圖分解算法求得滿意解。

（5）在集群環(huán)境下，對坡面和河道過程分別采用不同的并行策略進(jìn)行并行計算：坡面過程的計算相互獨立，計算時不需要進(jìn)行通信，可采用靜態(tài)任務(wù)調(diào)度的方式；而河道過程的計算則必須按照從上游到下游的順序依次進(jìn)行，而且下游子流域的匯流計算需要上游子流域的流量作為輸入，需要考慮子流域的計算順序和進(jìn)程間的通信，進(jìn)行動態(tài)任務(wù)調(diào)度。該算法采用主從式架構(gòu)，由一個管理進(jìn)程和多個計算進(jìn)程組成（如圖2所示）。

管理進(jìn)程負(fù)責(zé)任務(wù)的分發(fā)、計算進(jìn)程間的協(xié)調(diào)以及計算結(jié)果的匯總。程序開始執(zhí)行后，管理進(jìn)程讀取子流域信息和任務(wù)劃分方案，并將計算任務(wù)分配到各個計算進(jìn)程。由于一個子流域的坡面過程和河道匯流計算密切相關(guān)，所以一個子流域的坡面和河道計算任務(wù)由同一計算進(jìn)程執(zhí)行。在運行過程中，管理進(jìn)程在內(nèi)存中通過樹型結(jié)構(gòu)保存子流域間的拓?fù)潢P(guān)系，并負(fù)責(zé)計算進(jìn)程間的協(xié)調(diào)和數(shù)據(jù)傳遞。在計算完成后，管理進(jìn)程負(fù)責(zé)匯總各計算進(jìn)程的計算結(jié)果并寫入數(shù)據(jù)庫。

計算進(jìn)程負(fù)責(zé)執(zhí)行具體的計算任務(wù)，在計算時根據(jù)計算特點將任務(wù)分為三類：

A類：源頭子流域坡面過程和河道匯流整體計算；