[發明專利]一種節約空間的安全性信息數據管理儲存方法

在審

• 申請號: 202011021594.6
• 申請日: 2020-09-25
• 公開（公告）號: CN111966658A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 酈俊嶺
• 申請（專利權）人: 深圳市數存科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/174;G06F16/172;G06F16/13;G06F21/62
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 宮建華

本發明涉及數據存儲技術領域，具體涉及一種節約空間的安全性信息數據管理儲存方法，步驟：S1由數據源頭獲取信息數據，并將獲取的數據存儲至HDFS系統；S2將HDFS系統上的信息數據或外部信息數據轉換成鍵值對的形式；S3將S2中的數據進行劃分，作為信息函數輸入；S4將S3過程中，信息函數處理的結果保存在本地文件作為過渡；S5利用Writable函數，將處理結果序列化為字節流，并傳遞到reduce函數中作為輸入端；S6將處理后的信息數據進行歸并，利用信息數據轉換接口將結果保存成GeoJson類型并存儲在HDFS元數據管理節點中。本發明在保證數據可靠性的同時，盡可能地降低數據冗余，提高存儲效率是海量數據存儲系統可靠性。

技術領域

本發明涉及數據存儲技術領域，具體涉及一種節約空間的安全性信息數據管理儲存方法。

背景技術

上個世紀90年代，為滿足TB級、PB級的存儲需求，存儲區域網絡SAN、網絡附加存儲NAS、IP-SAN、P2P網絡存儲、分布式集群存儲、網格存儲等技術先后涌現。進入20世紀以后，隨著個人電腦及信息設備的高速發展和普及，隨著信息技術在各個行業的突飛猛進的應用和發展，特別在科學計算、商業計算等眾多應用領域中產生了規模巨大的數據，出現了以綜合P2P網絡存儲、分布式集群存儲、網格存儲等技術優點的海量數據存儲系統，具有代表性的有GFS、WAS、S3等。在海量數據存儲系統中，存儲節點規模少則幾萬，多則幾十萬。

面對如此大規模的存儲系統，顯然，數據可靠性增強技術已是海量數據存儲系統研究與設計所面臨的一項關鍵技術。較低的數據冗余、安全的數據保證、高效的數據訪問效率是數據可靠性增強技術的重要指標。增加數據冗余已是數據可靠性增強技術的一般途徑，即當存儲系統中出現數據丟失時，可以通過訪問冗余數據滿足訪問需求。

冗余雖然提高了系統可靠性，但是存儲與管理成本也會伴隨增加。因此，如何在保證數據可靠性的同時，盡可能地降低數據冗余，提高存儲效率是海量數據存儲系統可靠性保證技術所面臨的一個關鍵問題。

發明內容

針對現有技術的不足，本發明公開了一種節約空間的安全性信息數據管理儲存方法，用于解決上述現有技術存在的問題。

本發明通過以下技術方案予以實現：

本發明公開了一種節約空間的安全性信息數據管理儲存方法，所述儲存方法包括以下步驟：

S1由數據源頭獲取信息數據，并將獲取的數據存儲至HDFS系統；

S2將HDFS系統上的信息數據或外部信息數據轉換成鍵值對的形式；

S3將S2中的數據進行劃分，作為信息函數輸入；

S4將S3過程中，信息函數處理的結果保存在本地文件作為過渡；

S5利用Writable函數，將處理結果序列化為字節流，并傳遞到reduce函數中作為輸入端；

S6將處理后的信息數據進行歸并，利用信息數據轉換接口將結果保存成GeoJson類型并存儲在HDFS元數據管理節點中。

更進一步的，所述S2中，如果信息數據從外部來，根據信息數據的格式，調用信息數據格式轉換接口對其格式進行轉換。

更進一步的，所述S3中，根據用戶的需求對空間數據更新時，則對信息函數進行設計進行實現。

更進一步的，所述S4中，通Writable函數，將字節流反序列化轉換成相應的空間數據鍵值對。

更進一步的，所述方法中，新增信息數據對象需要傳入信息數據的屬性信息及拓撲信息，信息函數將這些信息按照統一的接口構建key/value鍵值對，并將鍵值對作為中間結果傳遞給reduce函數。