[發明專利]一種提高非結構化小文件分布式存儲效率的方法

在審

• 申請號: 202211417906.4
• 申請日: 2022-11-14
• 公開（公告）號: CN115586873A
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 岳洋;劉佳
• 申請（專利權）人: 盟浪可持續數字科技（深圳）有限責任公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/13;G06F16/17;G06F16/182
• 代理公司: 深圳市博太聯眾專利代理事務所(特殊普通合伙) 44354
• 代理人: 任轉英

1.一種提高非結構化小文件分布式存儲效率的方法，其特征在于，包括如下步驟：

S1、將需要進行檢索的非結構化小文件通過client節點，發送到所有master節點上；

所述master節點主要負責對文件系統的管理，master節點的內存中存儲有非結構化小文件的文件存儲位置；

S2、master節點將接收到的非結構化小文件以倒排文件的方式建立倒排索引，并將該倒排索引關系同步到對應的slave節點上；

所述slave節點用于對非結構化小文件進行數據存儲；

S3、用戶在進行檢索時，通過訪問merger節點，將檢索條件發送到merger節點上，merger節點將檢索條件發送到所有的slave節點上，每個slave節點對該節點上的倒排索引關系進行查詢，并將各slave節點內符合檢索條件的非結構化小文件反饋給merger節點，merger節點得到所有slave節點返回的符合檢索條件的非結構化小文件后，對符合檢索條件的非結構化小文件進行合并處理，并將合并處理后獲得的數據信息返回給用戶。

2.根據權利要求1所述的一種提高非結構化小文件分布式存儲效率的方法，其特征在于，所述slave節點在對非結構化小文件進行數據存儲時，首先根據非結構化小文件的文件屬性對其進行分類，并將同一類的非結構化小文件合并形成一個或者一個以上的大文件進行存儲。

3.根據權利要求2所述的一種提高非結構化小文件分布式存儲效率的方法，其特征在于，所述文件屬性包括文件創建時間、文件格式類型、文件所屬業務類型。

4.根據權利要求3所述的一種提高非結構化小文件分布式存儲效率的方法，其特征在于，當倒排索引關系發生改變時，將發生改變的倒排索引關系同步到relation節點上。

5.根據權利要求3所述的一種提高非結構化小文件分布式存儲效率的方法，其特征在于，所述合并處理為對相同文件或者多個文件的相同部分進行合并，同時更新被合并文件的文件內容索引，將其指向新的存儲位置。