[發(fā)明專利]面向數(shù)據(jù)密集型遙感圖像處理的泛型編程的框架編程方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210376490.6
• 申請(qǐng)日: 2012-10-08
• 公開(kāi)（公告）號(hào): CN103019671A
• 公開(kāi)（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 馬艷;王力哲;劉定生;劉鵬
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院對(duì)地觀測(cè)與數(shù)字地球科學(xué)中心
• 主分類號(hào): G06F9/44
• 分類號(hào): G06F9/44;G06F17/30
• 代理公司: 北京紐樂(lè)康知識(shí)產(chǎn)權(quán)代理事務(wù)所 11210
• 代理人: 覃莉

技術(shù)領(lǐng)域

本發(fā)明涉及遙感數(shù)據(jù)處理領(lǐng)域，尤其涉及一種面向數(shù)據(jù)密集型遙感圖像處理的泛型編程的框架編程方法。

背景技術(shù)

隨著遙感技術(shù)的快速發(fā)展，遙感影像數(shù)據(jù)正以每日TB級(jí)的速度增長(zhǎng)，如何實(shí)時(shí)、快速、高效地處理海量數(shù)據(jù)是當(dāng)前遙感數(shù)據(jù)應(yīng)用中面臨的重要挑戰(zhàn)。基于分布式并行集群的高性能并行計(jì)算技術(shù)的高速發(fā)展，為數(shù)據(jù)密集型遙感圖像處理提供了重要技術(shù)手段。目前，多核集群系統(tǒng)正逐漸成為并行計(jì)算的主流。這種混合并行系統(tǒng)具有復(fù)雜的多層并行結(jié)構(gòu)及日益龐大的系統(tǒng)規(guī)模，其并行程序開(kāi)發(fā)存在多級(jí)并行化問(wèn)題（節(jié)點(diǎn)間并行和多核并行），涉及消息傳遞和共享內(nèi)存兩種模型，并行編程難度大。由于自動(dòng)并行編譯技術(shù)在短期內(nèi)尚不成熟，對(duì)于數(shù)據(jù)密集型的海量遙感數(shù)據(jù)處理，遙感領(lǐng)域?qū)＜以趹?yīng)對(duì)海量的多維遙感影像數(shù)據(jù)和復(fù)雜遙感應(yīng)用算法的同時(shí)，還必須具備充分的并行系統(tǒng)結(jié)構(gòu)知識(shí)，進(jìn)行數(shù)據(jù)劃分、并行任務(wù)分解、同步和進(jìn)程通信等并行算法設(shè)計(jì)與編程實(shí)現(xiàn)，這對(duì)領(lǐng)域?qū)＜业木幊棠芰μ岢隽撕芨叩囊蟆Ｒ虼耍绾翁峁┮环N能簡(jiǎn)化并行程序開(kāi)發(fā)過(guò)程、提高并行程序開(kāi)發(fā)效率的并行編程模型顯得非常迫切。

目前，在并行計(jì)算領(lǐng)域，常用的簡(jiǎn)化并行編程方法主要為Skeleton（框架）并行編程方法，其基本思路是基于泛型編程思想對(duì)重復(fù)出現(xiàn)的并行計(jì)算模式進(jìn)行抽象，為問(wèn)題并行求解提供通用的并行實(shí)現(xiàn)框架（Skeleton），從而擺脫瑣碎的并行細(xì)節(jié)，可大大簡(jiǎn)化并行編程。當(dāng)前已有許多Skeleton相關(guān)研究，包括SkeTo、QUAFF、P3L、Cole等，各應(yīng)用領(lǐng)域也定義專用并行Skeleton，如Google用于分布式數(shù)據(jù)挖掘的MapReduce模型本質(zhì)上也是一個(gè)專用Skeleton。然而，由于海量遙感數(shù)據(jù)處理應(yīng)用有其自身的特點(diǎn)，如海量的多維遙感影像數(shù)據(jù)計(jì)算與遙感影像數(shù)據(jù)在多維度上相關(guān)、數(shù)據(jù)處理流程復(fù)雜且處理流程的任務(wù)間存在計(jì)算依賴等，這使得當(dāng)前已有的典型通用并行編程Skeleton無(wú)法直接用于海量遙感數(shù)據(jù)應(yīng)用算法的并行編程中。因此，目前還沒(méi)有面向海量遙感數(shù)據(jù)處理的并行編程Skeleton相關(guān)方法技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)解決問(wèn)題是：克服現(xiàn)有的數(shù)據(jù)密集型遙感數(shù)據(jù)處理編程繁瑣、困難、并行效率低的缺陷，提供一種基于算法Skeleton的面向海量遙感數(shù)據(jù)處理的并行編程模型，該方法將泛型編程引入到遙感應(yīng)用算法的并行開(kāi)發(fā)中，在遙感算法的并行計(jì)算特點(diǎn)、并行算法框架分析的基礎(chǔ)上，對(duì)海量遙感數(shù)據(jù)處理方法進(jìn)行Skeleton建模和抽象，建立數(shù)據(jù)密集型遙感數(shù)據(jù)處理算法的并行編程范式。該方法能有效降低海量遙感數(shù)據(jù)處理的并行編程難度，克服了傳統(tǒng)的遙感數(shù)據(jù)處理中對(duì)領(lǐng)域?qū)＜揖幊棠芰σ蟾叩娜毕荨?/p>

本發(fā)明的目的通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)：

一種面向數(shù)據(jù)密集型遙感圖像處理的泛型編程的框架編程方法，包括以下步驟：

1）在遙感數(shù)據(jù)處理算法的計(jì)算特點(diǎn)和并行算法框架分析的基礎(chǔ)上，對(duì)重復(fù)出現(xiàn)的公共并行計(jì)算模式進(jìn)行建模，抽象出面向海量遙感數(shù)據(jù)處理的并行算法Skeleton，從同類遙感應(yīng)用算法的并行求解過(guò)程中提取并抽象出公共的并行算法框架Skeleton；

2）針對(duì)遙感影像數(shù)據(jù)的多波段圖像數(shù)據(jù)結(jié)構(gòu)（三維矩陣）、復(fù)雜地理信息數(shù)據(jù)結(jié)構(gòu)及大數(shù)據(jù)規(guī)模等特性，研制分布式遙感影像數(shù)據(jù)模型RSData?Templates；

3）在分布式遙感影像數(shù)據(jù)模型RSData?Templates的基礎(chǔ)上，進(jìn)一步提出分布式遙感影像數(shù)據(jù)模型(Dist_RSData)的泛型抽象和C++模板類封裝；

4）利用C++模板機(jī)制對(duì)各個(gè)并行算法Skeleton進(jìn)行Template封裝，并基于多核集群系統(tǒng)平臺(tái)的MPI運(yùn)行時(shí)環(huán)境，對(duì)并行算法Skeleton的并行結(jié)構(gòu)在多核集群平臺(tái)的自動(dòng)映射、計(jì)算任務(wù)劃分及子任務(wù)在計(jì)算節(jié)點(diǎn)間的自動(dòng)分配，并行算法框架及計(jì)算節(jié)點(diǎn)通信等并行細(xì)節(jié)進(jìn)行預(yù)實(shí)現(xiàn)；以及

5）利用數(shù)據(jù)類型模板中的分布式大規(guī)模遙感影像數(shù)據(jù)Dist_RSData?Template進(jìn)行大規(guī)模遙感影像數(shù)據(jù)的多級(jí)數(shù)據(jù)劃分、跨節(jié)點(diǎn)數(shù)據(jù)分布，所述多級(jí)數(shù)據(jù)劃分，可調(diào)用自與應(yīng)用算法相匹配的自定義數(shù)據(jù)劃分策略函數(shù)對(duì)大規(guī)模遙感影像數(shù)據(jù)進(jìn)行多級(jí)遞歸數(shù)據(jù)劃分（圖像數(shù)據(jù)分塊與地理信息重新計(jì)算）。

進(jìn)一步的，采用并行文件系統(tǒng)提供遙感影像屋里數(shù)據(jù)塊的I/O節(jié)點(diǎn)分布信息指導(dǎo)遙感影像劃分的數(shù)據(jù)邏輯分塊在計(jì)算節(jié)點(diǎn)間的映射，可在多節(jié)點(diǎn)、多核間進(jìn)行遙感影像數(shù)據(jù)的多級(jí)數(shù)據(jù)分布，為并行Skeleton所處理的海量大規(guī)模復(fù)雜遙感影像數(shù)據(jù)提供復(fù)雜數(shù)據(jù)結(jié)構(gòu)描述及數(shù)據(jù)分布和縫合機(jī)制，從而簡(jiǎn)化并行編程中繁瑣的復(fù)雜遙感數(shù)據(jù)結(jié)構(gòu)處理。