[發明專利]一種節約空間的安全性信息數據管理儲存方法

在審

• 申請號: 202011021594.6
• 申請日: 2020-09-25
• 公開（公告）號: CN111966658A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 酈俊嶺
• 申請（專利權）人: 深圳市數存科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/174;G06F16/172;G06F16/13;G06F21/62
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 宮建華

1.一種節約空間的安全性信息數據管理儲存方法，其特征在于，所述儲存方法包括以下步驟：

S1由數據源頭獲取信息數據，并將獲取的數據存儲至HDFS系統；

S2將HDFS系統上的信息數據或外部信息數據轉換成鍵值對的形式；

S3將S2中的數據進行劃分，作為信息函數輸入；

S4將S3過程中，信息函數處理的結果保存在本地文件作為過渡；

S5利用Writable函數，將處理結果序列化為字節流，并傳遞到reduce函數中作為輸入端；

S6將處理后的信息數據進行歸并，利用信息數據轉換接口將結果保存成GeoJson類型并存儲在HDFS元數據管理節點中。

2.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述S2中，如果信息數據從外部來，根據信息數據的格式，調用信息數據格式轉換接口對其格式進行轉換。

3.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述S3中，根據用戶的需求對空間數據更新時，則對信息函數進行設計進行實現。

4.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述S4中，通Writable函數，將字節流反序列化轉換成相應的空間數據鍵值對。

5.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述方法中，新增信息數據對象需要傳入信息數據的屬性信息及拓撲信息，信息函數將這些信息按照統一的接口構建key/value鍵值對，并將鍵值對作為中間結果傳遞給reduce函數。

6.根據權利要求5所述的節約空間的安全性信息數據管理儲存方法，其特征在于，在reduce函數中構建成可以在HDFS上存儲的GeoJson數據，并由Master節點調控把數據存儲在相應的HDFS節點上，完成信息數據對象的新增。

7.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述方法中，查詢數據時，劃分一全局索引一局部索引的多級空間索引結構，具體步驟如下：

T1首先調用信息函數將信息數據查詢條件按照信息數據范圍與總體索引中各個節點的最小外接矩形求交；

T2將查詢條件分配給返回值為ture的節點；每個map函數根據分配的查詢范圍與該節點內索引樹中的各個子節點的外接矩形求交；

T3如有交集,則迭代此過程，直到子節點為葉子節點為止；如葉子節點被包含在查詢范圍內，則將該節點的地理對象保存在本地節點中；

T4將每一個信息函數過程中保存在本地節點中的地理對象經過Writable序列化傳遞到reduce函數；

T5將所有查詢到的地理實體進行歸并，最后即可得到查詢結果。

8.根據權利要求7所述的節約空間的安全性信息數據管理儲存方法，其特征在于，為了提高空間數據檢索的效率，把空間距離近的地理實體劃分為一體，對劃分后的分片結果建立總體索引，并對每個分片數據建立局部索引，把局部索引的數據存儲在數據節點上，在一定層面上減弱了名稱節點的存儲壓力，實現空間數據的分級分層索引高效管理。

9.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述方法中，進行刪除信息數據操作時，檢索過程與查詢信息數據類似，按照刪除的條件對各個HDFS節點進行查詢，當且僅當三個節點同時都刪除了該信息數據時，才能正確完成刪除操作。

10.根據權利要求1所述的節約空間的安全性信息數據管理儲存方法，其特征在于，所述方法中，元數據管理節點為HDFS中文件目錄和文件分配的管理者，維護文件名到數據塊的映射和數據塊到數據存儲節點的關系映射，其中文件名到數據塊的映射通過映像文件持久化保存:數據塊到數據存儲節點的映射則通過數據存儲節點的上傳信息建立起來的，它只在內存中保存。