[發明專利]一種提高非結構化小文件分布式存儲效率的方法

在審

• 申請號: 202211417906.4
• 申請日: 2022-11-14
• 公開（公告）號: CN115586873A
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 岳洋;劉佳
• 申請（專利權）人: 盟浪可持續數字科技（深圳）有限責任公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/13;G06F16/17;G06F16/182
• 代理公司: 深圳市博太聯眾專利代理事務所(特殊普通合伙) 44354
• 代理人: 任轉英

本發明公開了一種提高非結構化小文件分布式存儲效率的方法，屬于數據管理技術領域，本發明通過在分布式存儲系統中，把海量小文件按照創建時間、類型等屬性，將小文件根據相關性分類后合并成大文件，并對每個小文件建立索引，從而減少磁盤存儲空間，大大提升了分布式存儲系統的性能和擴展性，滿足現在快速增長的非結構化數據的存儲要求，而且能夠快速查找到指定文件；另外，本發明中通過將小文件合并成大文件存儲后將大大減少磁盤存儲空間的消耗，固定的磁盤存儲空間可以管理更大量的數據，提升了分布式存儲系統的擴展性。

技術領域

本發明屬于數據管理技術領域，具體的，涉及一種提高非結構化小文件分布式存儲效率的方法。

背景技術

非結構化數據一般是指結構化數據之外的字段可變數據，其不屬于任何預定義的模型，這也導致非結構化數據的組織與格式化非常的困難，尤其是隨著信息社會的發展，非結構化數據的數量存在爆炸式的增長，一方面現有技術中通常通過本地數據庫對非結構化數據進行存儲，在查詢檢索時通過本地服務器與本地數據庫進行連接后查詢，其效率低下，數據運算量大，另一方面對于大量的非結構化的小文件數據，由于每個非結構化小文件都會占用一定的內存空間，而隨著其數量的增長，占用浪費的內存空間也會出現明顯的增長，這就導致內存資源的浪費，降低了內存的使用效率，為了解決上述問題，提高非結構化小文件的存儲效率，本發明提供了以下技術方案。

發明內容

本發明的目的在于提供一種提高非結構化小文件分布式存儲效率的方法，解決現有技術中非結構化小文件的存儲存在內存資源浪費嚴重，數據檢索效率低下的問題。

本發明的目的可以通過以下技術方案實現：

一種提高非結構化小文件分布式存儲效率的方法，包括如下步驟：

S1、將需要進行檢索的非結構化小文件通過client節點，發送到所有master節點上；

所述master節點主要負責對文件系統的管理，master節點的內存中存儲有非結構化小文件的文件存儲位置；

S2、master節點將接收到的非結構化小文件以倒排文件的方式建立倒排索引，并將該倒排索引關系同步到對應的slave節點上；

所述slave節點用于對非結構化小文件進行數據存儲；

S3、用戶在進行檢索時，通過訪問merger節點，將檢索條件發送到merger節點上，merger節點將檢索條件發送到所有的slave節點上，每個slave節點對該節點上的倒排索引關系進行查詢，并將各slave節點內符合檢索條件的非結構化小文件反饋給merger節點，merger節點得到所有slave節點返回的符合檢索條件的非結構化小文件后，對符合檢索條件的非結構化小文件進行合并處理，并將合并處理后獲得的數據信息返回給用戶。

作為本發明的進一步方案，所述slave節點在對非結構化小文件進行數據存儲時，首先根據非結構化小文件的文件屬性對其進行分類，并將同一類的非結構化小文件合并形成一個或者一個以上的大文件進行存儲。

作為本發明的進一步方案，所述文件屬性包括文件創建時間、文件格式類型、文件所屬業務類型。

作為本發明的進一步方案，當倒排索引關系發生改變時，將發生改變的倒排索引關系同步到relation節點上；

作為本發明的進一步方案，所述合并處理為對相同文件或者多個文件的相同部分進行合并，同時更新被合并文件的文件內容索引，將其指向新的存儲位置。

本發明的有益效果：

(1)本發明在分布式存儲系統中，把海量小文件按照創建時間、類型等屬性，將小文件根據相關性分類后合并成大文件，并對每個小文件建立索引，從而減少磁盤存儲空間，大大提升了分布式存儲系統的性能和擴展性，滿足現在快速增長的非結構化數據的存儲要求，而且能夠快速查找到指定文件；