[發明專利]一種基于分片模式的遙感數據管理方法

在審

• 申請號: 202110271258.5
• 申請日: 2021-03-12
• 公開（公告）號: CN112925869A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 王金林;程寅益;周可法;王珊珊;汪瑋;周曙光
• 申請（專利權）人: 中國科學院新疆生態與地理研究所
• 主分類號: G06F16/29
• 分類號: G06F16/29
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種基于分片模式的遙感數據管理方法，其特征在于，包括以下步驟：

S1、對遙感數據及其對應的遙感元數據進行預處理及數據匹配，形成若干遙感數據塊；

S2、基于網絡傳輸協議將遙感數據塊上傳至分布式數據中心；

S3、通過分布式數據中心的數據庫服務器根據其分片對接收到的遙感數據塊進行分配，并利用自動分配機制對遙感數據塊進行切分保存；

S4、利用數據庫服務器的管理模式將切分保存后的遙感數據塊保存在不同的數據分片中，并使遙感數據塊在各個數據分片中達到負載平衡，實現遙感數據管理。

2.根據權利要求1所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟S1中，對遙感數據進行預處理的方法具體為：

A1、基于地理編碼格式的遙感元數據，對遙感數據進行多維特征描述；

A2、根據遙感數據的多維特征描述結果，描述其對應的遙感元數據的內容和結構；

A3、基于各遙感元數據的內容和結構，構建由若干個遙感元數據子集組成的元數據描述體系對遙感數據進行特征描述，實現遙感數據的預處理。

3.根據權利要求2所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟A1具體為：

基于地理編碼格式的遙感元數據中的地理位置信息、波段信息、衛星重訪周期和空間分辨率中的一種或多種信息作為多維特征對遙感數據進行多維特征描述；

所述步驟A2中，采用統一建模語言和數據字典相結合的方式對遙感數據對應核心元數據的內容和結構進行描述；

所述步驟A3中，通過元數據描述體系對遙感數據進行特征描述時的特征包括內容信息、數據質量信息、引用信息、標識信息、聯系信息、分發信息和空間參考信息。

4.根據權利要求1所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟S3具體為：

S31、通過分布式數據中心將接收到的遙感數據塊移交至數據庫服務器中，并基于分片分配若干個用于存儲遙感數據塊的數據節點；

S32、對用于存儲遙感數據塊的數據節點進行節點保護，形成對應的分布式集群；

S33、將遙感數據塊通過分片的方式存儲在數據庫服務器中的分布式集群中；

S34、將遙感數據塊通過分片的方式存儲在各分布式集群中，并通過自動分配機制將遙感數據塊切分成小塊分散保存在各數據節點中，實現遙感數據塊的切分保存。

5.根據權利要求4所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟S32中，對數據節點進行節點保護時，每個分片包括至少三個數據節點，包括一個主數據節點和兩個從數據節點，當主數據節點宕機后，兩個從數據節點進行競選，其中一個從數據節點變為主數據節點，當主數據節點恢復后作為從數據節點加入到對應的分布式集群中。

6.根據權利要求4所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟S4中利用數據庫服務器的管理模式將切分保存后的遙感數據塊保存在不同的數據分片中的方法具體為：

將遙感數據塊中的遙感數據通過數據庫服務器的配置服務中的元數據路由至對應的數據分片中，通過在分片服務中設置片鍵和數據庫中的Chunk索引關系，使遙感數據以分片的形式保存在不同的數據分片中。

7.根據權利要求6所述的基于分片模式的遙感數據管理方法，其特征在于，所述分片服務為分布式集群中實際存儲數據的位置；

在所述分片服務中，根據設置的不同片鍵，將遙感數據塊分為若干個Chunk，并按照設置的片鍵類型將遙感數據以不同的邏輯保存在不同的數據分片中。

8.根據權利要求6所述的基于分片模式的遙感數據管理方法，其特征在于，所述步驟S4中，通過設置平衡進程使遙感數據塊在各個數據分片中達到負載平衡；

所述平衡進程自動巡查所有數據分片上Chunk的分布情況，當數據分片上的Chunk數量達到設定的遷移閾值時，通過平衡進程在各數據分片之間自動遷移Chunk，使每個數據分片中的Chunk數量相同，進而使遙感數據在各個數據分片中達到負載平衡。

9.根據權利要求8所述的基于分片模式的遙感數據管理方法，其特征在于，在所述平衡進程中，當數據分片中的Chunk大小超過了配置限制時，將其平均分為兩個大小相同的新的Chunk。