[發明專利]非結構化數據存儲管理方法和系統

有效

• 申請號: 201611043089.5
• 申請日: 2016-11-24
• 公開（公告）號: CN106776783B
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 宋立華;倪時龍;蘇江文
• 申請（專利權）人: 福建億榕信息技術有限公司;國家電網公司;國網浙江省電力公司;國網信息通信產業集團有限公司;國網信通億力科技有限責任公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/383
• 代理公司: 福州市景弘專利代理事務所(普通合伙) 35219
• 代理人: 林祥翔;呂元輝

本文提供一種非結構化數據存儲管理方法和系統，解決現有技術中非結構化存儲管理系統無法支撐大量的小文件及其元數據的存儲和快速訪問的問題。其特別涉及非結構化數據的存儲管理；其方法包括步驟：非結構化數據具有與其對應的第二元數據；第二元數據存儲于內存中，以哈希表的結構存儲，第二元數據包括非結構化數據對應的部分描述數據和第一鍵值；第一鍵值對應第二元數據映射在哈希表中的關鍵字；接收非結構化數據管理指令；若非結構化數據管理指令的參數為第一鍵值，則在內存中執行該非結構化數據管理指令。本文提供的方案優化了非結構化數據的元數據的訪問速度。

技術領域

本發明涉及數據存儲管理，特別涉及非結構化數據的存儲管理。

背景技術

在企業中，非結構化數據的主要來源是各種業務應用系統(如辦公系統、ERP系統、圖檔系統，等)。隨著非結構化數據的量不斷增加，為了減小各專業應用系統在非結構化數據存儲管理方面的負擔，逐漸形成了專門用于非結構化數據存儲、管理、加工處理的“非結構化數據存儲管理系統”(也有稱之為“云存儲系統”、“海量存儲系統”、“非結構化數據庫”等)。

在功能方面，非結構化數據存儲管理系統主要負責統一存儲、管理、加工處理各類企業應用系統產生的非結構化數據，即非結構化數據存儲管理軟件的管理對象是非結構化數據及其元數據。

在性能方面，非結構化數據存儲管理系統管理的數據至少在TB級別以上，大型企業更可能達到PB或更高級別，文件個數在“億”級別。所以，系統一般采用集群的方式部署，PB級別的系統集群規模一般超過10臺服務器。

而目前的非結構化存儲管理系統，將非結構化數據的所有屬性放入內存中，以方便根據關鍵值獲取非結構化數據的屬性，但其無法支撐大量的小文件及其元數據的存儲和訪問。

例如HDFS，根據X86服務器的體系架構，服務器的內存是有上限的，例如高性能的4路服務器最多只能配置128GB的內存。那么，服務器的內存大小就限制了HDFS的集群的規模。例如：假設非結構化數據的平均文件大小是100KB，假設系統設置的元數據信息為1KB，那么128GB內存最多可以存儲的元數據條目數＝128GB/1KB＝1.28億，對應的集群文件規模最大＝1.28億*100KB＝12.8TB。這遠遠不能滿足大數據存儲的需求。

另外，該服務器只提供了三種操作：根據ID進行Get(獲取)、Set(設置)、Delete(刪除)操作。因此無法滿足多種任務場景需求，例如需要通過查詢甲方為XX公司的合同。

發明內容

以下給出對一個或更多個方面的簡化概述以力圖提供對此類方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或更多個方面的一些概念以作為稍后給出的更加具體的說明之序。

本文提供一種非結構化數據存儲管理方法、服務器和系統，解決現有技術中非結構化存儲管理系統無法支撐大量的小文件及其元數據的存儲和快速訪問的問題。

為實現上述目的，發明人提供了非結構化數據存儲管理方法、服務器和系統，其中方法用于存儲和管理非結構化數據，該方法包括：

非結構化數據具有與其對應的第二元數據；

第二元數據存儲于內存中，以哈希表的結構存儲，

第二元數據包括非結構化數據對應的部分描述數據和第一鍵值；

第一鍵值對應第二元數據映射在哈希表中的關鍵字；

接收非結構化數據管理指令；

若非結構化數據管理指令的參數為第一鍵值，

則在內存中執行該非結構化數據管理指令。