[發明專利]一種基于衛星遙感數據特征的分布式并行處理方法

無效

• 申請號: 201110305008.5
• 申請日: 2011-10-10
• 公開（公告）號: CN102508639A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 楊正球;修佳鵬;夏亞梅;薇娜
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京派特恩知識產權代理事務所(普通合伙) 11270
• 代理人: 程立民;張穎玲

1.一種基于衛星遙感數據特征的分布式并行處理方法，其特征在于，該方法包括：

將文件和處理程序抽象為文件類和轉換類，依據文件和處理程序的分層關系分別建立文件類對象標識樹和轉換類對象標識樹；

基于文件類對象標識樹、轉換類對象標識樹、命名樹及文件類和轉換類的輸入輸出關系，生成主配置文件；

主機依據主配置文件生成與任務對應的文件依賴圖和轉換依賴圖；

在運行時，主機負責監視各從機的任務執行狀態，并負責更新文件依賴圖和轉換依賴圖中各文件類實例和轉換類實例的狀態信息；

主機依據文件依賴圖和轉換依賴圖判斷是否有子任務滿足執行條件，將滿足執行條件的子任務分發給分機執行。

2.根據權利要求1所述的方法，其特征在于，所述轉換類對象標識樹基于處理程序的分層關系為每個對應的轉換類分配對象標識，除包含所有處理程序對應的轉換類節點之外，所述轉換類對象標識樹還包含用于建立文件類和轉換類之間的依賴關系的分支轉換節點和合并轉換節點。

3.根據權利要求2所述的方法，其特征在于，所述文件類對象標識樹基于文件的分層關系為每個對應的文件類分配對象標識，每一層的轉換類輸出的文件類作為下一層轉換類的輸入。

4.根據權利要求3所述的方法，其特征在于，所述文件依賴圖包含文件類實例信息字段和對應的文件類實例是否可用的狀態字段，所述文件類實例信息字段中包含了文件類名稱及該文件類實例所處命名樹層次的信息。

5.根據權利要求4所述的方法，其特征在于，所述轉換類依賴圖包含轉換類實例信息字段、轉換類實例運行狀態字段、輸入文件類字段、輸出文件類字段、上層轉換類實例信息字段、下層轉換類實例信息字段。

6.根據權利要求5所述的方法，其特征在于，所述主機判斷子任務滿足執行條件的方法為：

主機中的調度模塊不斷掃描所述文件依賴圖和轉換依賴圖，判斷與具體處理程序對應的轉換類實例所依賴的所有文件類實例是否可用，當該轉換類實例所依賴的所有文件類實例全部可用時，則該轉換類實例對應的子任務滿足執行條件。

7.根據權利要求6所述的方法，其特征在于，

在分析執行完一個任務后，通知主機，主機更新該任務對應的轉換類實例的狀態，并獲取該轉換類實例對應的輸出文件類實例標識信息，并通過獲取的輸出文件類實例標識信息更新文件依賴圖中的文件類實例對應的狀態信息。

8.根據權利要求7所述的方法，其特征在于，

所述主機將滿足執行條件的子任務放入任務隊列，分機從任務隊列中獲取尚未執行的子任務，當一個分機的任務執行失敗時，失敗的子任務被重新添加至任務隊列。

9.根據權利要求1所述的方法，其特征在于，所述方法還包括：

依據主配置文件建立依賴圖模型，依據依賴圖模型建立圖形化的分景執行狀態圖和/或單景執行實例圖，且主機通過對文件依賴圖和轉換依賴圖的掃描，依據對應的文件類實例和轉換類實例的狀態實時更新所述分景執行狀態圖和/或單景執行實例圖。

10.根據權利要求7所述的方法，其特征在于，

采用集中式存儲方案將數據存儲于磁盤陣列上，將磁盤陣列映射到主機及各從機上；

由主機統一進行任務管理，處理能力強的主機和/或從機開啟多個進程并發執行任務處理程序。