[發(fā)明專利]一種提高前處理模塊和后處理模塊效率的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110388581.7
• 申請(qǐng)日: 2011-11-29
• 公開（公告）號(hào): CN102508720B
• 公開（公告）日: 2017-02-22
• 發(fā)明（設(shè)計(jì)）人: 岳捷;韓明;朱志成;盛迎新;申?duì)T;孟凱鋒;陳欣;李闖;孫翰墨;馬龍
• 申請(qǐng)（專利權(quán)）人: 中能電力科技開發(fā)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京華夏正合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11017
• 代理人: 韓登營(yíng),張煥亮

技術(shù)領(lǐng)域

本發(fā)明涉及WRF(中尺度數(shù)值氣象預(yù)報(bào))領(lǐng)域，特別涉及一種提高前處理模塊和后處理模塊效率的方法及系統(tǒng)。?

背景技術(shù)

WRF技術(shù)主要研究大氣中尺度運(yùn)動(dòng)，關(guān)系到區(qū)域重大災(zāi)害性天氣的產(chǎn)生和發(fā)展變化。主要應(yīng)用衛(wèi)星、雷達(dá)、風(fēng)廓線儀和自動(dòng)觀測(cè)站等探測(cè)工具，對(duì)中尺度天氣過程進(jìn)行模擬研究和預(yù)報(bào)試驗(yàn)。?

WRF系統(tǒng)具有巨大的、驚人的計(jì)算量，包括前處理(WPS)模塊、主模式模塊以及后處理模塊。參見圖1，在WRF前處理模塊啟動(dòng)前，需要將輸入到前處理模塊的GFS(全球預(yù)報(bào)系統(tǒng))氣象數(shù)據(jù)由存儲(chǔ)設(shè)備中拷貝至計(jì)算節(jié)點(diǎn)的硬件系統(tǒng)內(nèi)存RAM中，之后啟動(dòng)前處理模塊對(duì)GFS數(shù)據(jù)進(jìn)行處理；接著啟動(dòng)WRF主模式模塊進(jìn)行積分運(yùn)算，然后將WRF主模式模塊的計(jì)算結(jié)果由存儲(chǔ)設(shè)備中拷貝至計(jì)算節(jié)點(diǎn)的硬件系統(tǒng)內(nèi)存RAM中，之后啟動(dòng)WRF系統(tǒng)中的后處理模塊對(duì)WRF計(jì)算結(jié)果進(jìn)行后處理。快速地將GFS(全球預(yù)報(bào)系統(tǒng))氣象數(shù)據(jù)以及將主模式模塊的計(jì)算結(jié)果由存儲(chǔ)設(shè)備拷貝至計(jì)算節(jié)點(diǎn)的硬件系統(tǒng)內(nèi)存RAM中，是提高前處理模塊和后處理模塊的數(shù)據(jù)處理效率的一個(gè)重要因素。?

如何將輸入到前處理模塊的GFS(全球預(yù)報(bào)系統(tǒng))氣象數(shù)據(jù)快速地拷貝至硬件系統(tǒng)內(nèi)存RAM中以及將WRF主模式模塊的計(jì)算結(jié)果快速地拷貝至硬件系統(tǒng)內(nèi)存RAM中，是一個(gè)亟待解決的問題。?

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供了一種提高前處理模塊和后處理模塊效率的方法，其特征在于，包括以下步驟：?

A.為I/O節(jié)點(diǎn)設(shè)置鎖變量；?

B.通過為所述鎖變量賦值，控制計(jì)算節(jié)點(diǎn)和存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互操作。?

通過在I/O節(jié)點(diǎn)上設(shè)置鎖變量，控制裝置可依次啟動(dòng)各個(gè)計(jì)算節(jié)點(diǎn)組中的計(jì)算節(jié)點(diǎn)執(zhí)行系統(tǒng)所分配的任務(wù)。?

其中，步驟B包括：配置與所述存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互操作的計(jì)算節(jié)點(diǎn)，并將所述計(jì)算節(jié)點(diǎn)的標(biāo)識(shí)符存儲(chǔ)在所述鎖變量中；接收各個(gè)計(jì)算節(jié)點(diǎn)的讀寫啟動(dòng)命令；當(dāng)計(jì)算節(jié)點(diǎn)的標(biāo)識(shí)符包含在所述鎖變量中所存儲(chǔ)的計(jì)算節(jié)點(diǎn)標(biāo)識(shí)符中，則所述計(jì)算節(jié)點(diǎn)通過所述I/O節(jié)點(diǎn)對(duì)所述存儲(chǔ)設(shè)備中的數(shù)據(jù)進(jìn)行讀寫操作，并在所述計(jì)算節(jié)點(diǎn)完成對(duì)所述存儲(chǔ)設(shè)備中的數(shù)據(jù)讀寫操作后，控制裝置清空所述鎖變量，并對(duì)所述鎖變量重新進(jìn)行賦值。?

控制裝置根據(jù)系統(tǒng)所分配的任務(wù)，可依次將計(jì)算節(jié)點(diǎn)組中的計(jì)算節(jié)點(diǎn)的標(biāo)識(shí)符賦值給鎖變量，只有鎖變量標(biāo)識(shí)過的計(jì)算節(jié)點(diǎn)才可通過I/O節(jié)點(diǎn)與存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互操作，其他節(jié)點(diǎn)無法通過I/O節(jié)點(diǎn)與存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互操作，從而可實(shí)現(xiàn)依次啟動(dòng)各個(gè)計(jì)算節(jié)點(diǎn)組中的計(jì)算節(jié)點(diǎn)執(zhí)行系統(tǒng)所分配的任務(wù)。?

其中步驟B中的接收各個(gè)計(jì)算節(jié)點(diǎn)的讀寫啟動(dòng)命令后，還包括：當(dāng)計(jì)算節(jié)點(diǎn)的標(biāo)識(shí)符沒有包含在所述鎖變量中的計(jì)算節(jié)點(diǎn)標(biāo)識(shí)符中，則將所述計(jì)算節(jié)點(diǎn)的標(biāo)識(shí)符存儲(chǔ)到等待隊(duì)列中，并在所述控制裝置清空所述鎖變量并對(duì)所述鎖變量重新進(jìn)行賦值時(shí)，將所述等待隊(duì)列中排在前面的計(jì)算節(jié)點(diǎn)標(biāo)識(shí)符存儲(chǔ)到所述鎖變量中。?

通過鎖變量，其他節(jié)點(diǎn)無法連通存儲(chǔ)設(shè)備，從而確保鎖變量中的計(jì)算節(jié)點(diǎn)進(jìn)行讀寫操作，當(dāng)該計(jì)算節(jié)點(diǎn)完成讀寫操作后，才將等待隊(duì)列中的計(jì)算節(jié)點(diǎn)分配給鎖變量，從而實(shí)現(xiàn)依次啟動(dòng)各個(gè)計(jì)算節(jié)點(diǎn)組中的計(jì)算節(jié)點(diǎn)執(zhí)行系統(tǒng)所分配的任務(wù)。?

其中，所述等待隊(duì)列的計(jì)算節(jié)點(diǎn)按照提出讀寫請(qǐng)求的時(shí)間進(jìn)行排序。?

通過時(shí)間控制各個(gè)計(jì)算節(jié)點(diǎn)的讀寫操作，提供了數(shù)據(jù)處理的效率。?

其中，所述等待隊(duì)列的計(jì)算節(jié)點(diǎn)按照讀寫請(qǐng)求的優(yōu)先級(jí)進(jìn)行排序。?

通過優(yōu)先級(jí)控制各個(gè)計(jì)算節(jié)點(diǎn)的讀寫操作，提供了數(shù)據(jù)處理的效率。?

其中，所述計(jì)算節(jié)點(diǎn)是通過計(jì)算節(jié)點(diǎn)組與所述存儲(chǔ)設(shè)備相連接。?

通過將計(jì)算節(jié)點(diǎn)分組，通過組來完成系統(tǒng)所分配的任務(wù)，提高了數(shù)據(jù)處理的效率。

本發(fā)明提供了一種提高前處理模塊和后處理模塊效率的系統(tǒng)，包括：至少多于一個(gè)的計(jì)算節(jié)點(diǎn)、存儲(chǔ)設(shè)備、用于連接所述計(jì)算節(jié)點(diǎn)和存儲(chǔ)設(shè)備的I/O節(jié)點(diǎn)以及控制裝置，其特征在于，所述控制裝置還包括：鎖變量設(shè)置單元，用于為I/O節(jié)點(diǎn)設(shè)置鎖變量；控制單元，用于通過為所述鎖變量賦值，控制計(jì)算節(jié)點(diǎn)和存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)交互操作。?

通過在I/O節(jié)點(diǎn)上設(shè)置鎖變量，控制裝置可依次啟動(dòng)各個(gè)計(jì)算節(jié)點(diǎn)組中的計(jì)算節(jié)點(diǎn)執(zhí)行系統(tǒng)所分配的任務(wù)。?