[發明專利]基于大數據遙感影像緩存方法

在審

• 申請號: 202011437094.0
• 申請日: 2020-12-11
• 公開（公告）號: CN112558869A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 于洋;杜毅;劉鑫
• 申請（專利權）人: 北京航天世景信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/51
• 代理公司: 北京紐樂康知識產權代理事務所(普通合伙) 11210
• 代理人: 秦月貞

1.一種基于大數據遙感影像緩存方法，其特征在于，該方法包括以下步驟：

S1 分布式緩存應用于海量數據存儲，支持集群自動化數據分片，運用哈希算法，進行集群節點移除緩存或添加緩存，運行緩存過程中不改變已存在數據庫鍵值正確節點映射關系及數據一致性；

S2 容錯機制，創建數據集之間的依賴關系，根據依賴關系中的數據集節點接收到其他節點發送的信息時標注失效的節點，并廣播到整個集群，某個子節點被標注后，其他從節點自行進行復制，生成新的節點并存儲，每個新節點存儲中包含多個任務，每個任務被分發給各個工作節點并執行；

S3 普通數據流處理方式，將讀取的數據集發送到各個子節點中的共享內存中，共享內存中的數據存放硬盤，讀取硬盤中的數據進行分割后任務分發；

S4 排序數據流處理方式,將數據集讀入工作節點的內存中，工作節點執行進程將內存中的數據進行排序分配給劃分好的緩存中，并進行閥值判斷，若大于閥值，則將緩存寫入磁盤中，并建立索引文件，進行文件合并，以及讀取索引文件中的索引數據，進行序列化輸出至磁盤；

S5聚合數據輸出流處理，獲取普通數據流，控制句柄執行寫操作，寫操作創建磁盤分區后，將分區文件進行合并，同時創建索引文件和磁盤數據文件，若不進行混合操作，則將數據存放于內存中。

2.根據權利要求1所述的基于大數據遙感影像緩存方法，其特征在于，所述S1中移除緩存或添加緩存進一步包含：

S1.1 基于緩存B失效,沿緩存B逆時針遍歷直到下一個緩存C之間的對象，即得到映射到緩存B的對象，變動緩存B的對象，將其重新映射到緩存C；

S1.2在環形哈希空間中，創建添加緩存D，緩存D被映射到對象2和對象3之間，沿緩存D逆時針遍歷直到下一個緩存B之間的對象，將該對象重新映射到緩存D上。

3.根據權利要求1所述的基于大數據遙感影像緩存方法，其特征在于，所述S2中依賴關系的存儲運行進一步包含：

S2.1創建不同數據集的依賴關系，通過數據集父子依賴關系重新計算，得到丟失的分區容錯率；

S2.2依賴關系的重新計算過程在不同節點中進行，并且依賴關系需要記錄并存儲粗粒度的轉換，不需要記錄數據和各種細粒度操作的日志。

4.根據權利要求3所述的基于大數據遙感影像緩存方法，其特征在于，所述S2.1中依賴關系包含：單一依賴方式和復合依賴方式；

S2.1.1單一依賴方式是基于多個父數據集的某一分區的所有鍵值，落在子數據集的同一個分區內；

S2.1.2 復合依賴方式是一個父數據集的一個分區對應一個子數據集的多個分區。

5.根據權利要求1所述的基于大數據遙感影像緩存方法，其特征在于，所述S3中子節點進一步包含：

S3.1 在子節點建立共享內存，存儲分配的數據，若分配的數據大于開辟的內存空間時，將共享內存區中的數據以臨時文件的方式存放到硬盤；

S3.2硬盤大量的磁盤讀寫任務完成后,對磁盤中存放的數據與共享內存中的數據進行合并。

6.根據權利要求1所述的基于大數據遙感影像緩存方法，其特征在于，所述S4排序的數據流處理方式進一步包含：

S4.1 根據不同的算子，將數據寫入不同的數據結構，若選用Map數據結構，則通過Map進行聚合，并寫入內存，若選用普通join算子，則選用Array數據結構，直接寫入內存；

S4.2 每寫一條數據進入內存數據結構之后，進行判斷，是否達到了某個臨界閾值，若達到臨界閾值，則將內存數據結構中的數據溢寫到磁盤，并清空內存數據結構；

S4.3 根據關鍵字對內存數據結構中已有的數據進行排序，分批將數據寫入磁盤文件，其中，分批數量為一萬條

S4.4任務將所有數據寫入內存數據結構的過程中,會產生多個臨時文件，將臨時文件進行合并后讀取，依次寫入磁盤文件中；

S4.5 基于上述磁盤文件數量的合并獲得到帶排序的數據流。