[發明專利]分布式存儲和檢索方法、裝置及計算機設備

在審

• 申請號: 202110457461.1
• 申請日: 2021-04-27
• 公開（公告）號: CN113094374A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 戴磊;馮月;王俊
• 申請（專利權）人: 廣州炒米信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 廣東勰思律師事務所 44609
• 代理人: 趙賽

1.一種分布式存儲和檢索方法，其特征在于，包括：

獲取待存儲文件，在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中；其中，所述待存儲文件包括多個數據塊；

當檢測到有多個存儲空間時，將所述多個存儲空間進行連續空間位置標記；

在所述待存儲文件的各個數據塊的頭部配置索引信息及屬性信息，并將所述索引信息、屬性信息及對應的數據塊保存在同一存儲空間中；

響應于用戶發起的文件查詢請求，從所述文件查詢請求中提取出請求信息，根據所述請求信息、索引信息及屬性信息在所述分布式存儲系統中查詢相應的目標文件，將所述目標文件發送給所述用戶。

2.根據權利要求1所述的方法，其特征在于，所述將所述待存儲文件保存在所述存儲空間中的步驟之后，還包括：

獲取所述待存儲文件的分配記錄與回收記錄；

將所述分配記錄與回收記錄保存在所述分布式存儲系統的緩存及動態空間數據塊中；其中，所述緩存用于分配與回收存儲空間，所述動態空間數據塊用于在所述待存儲文件分配或回收異常后，將所述待存儲文件恢復至所述緩存中繼續使用。

3.根據權利要求2所述的方法，其特征在于，所述將所述待存儲文件保存在所述存儲空間中的步驟之后，還包括：

當檢測到所述存儲空間當前使用的內存空間大于預定閾值時，將所述緩存的內存空間按照預設比例進行釋放；

將大于預定閾值的所述待存儲文件的數據塊加載到釋放后的所述緩存中。

4.根據權利要求1所述的方法，其特征在于，所述在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中的步驟，包括：

獲取分布式存儲系統的所有存儲空間的使用次數，篩選出使用次數低于預設次數的存儲空間，得到目標存儲空間；

為所述待存儲文件分配目標存儲空間，并將所述待存儲文件保存在所述目標存儲空間中。

5.根據權利要求1所述的方法，其特征在于，所述在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中的步驟，包括：

獲取所述分布式存儲系統的所有存儲空間，從所有存儲空間中篩選出可使用的多個存儲空間，得到多個目標存儲空間；

根據所述待存儲文件的數據塊的大小分配相應的目標存儲空間，并將所述待存儲文件的數據塊保存在相應的所述目標存儲空間中。

6.根據權利要求1所述的方法，其特征在于，還包括：

對所述分布式存儲系統的所有存儲空間進行定期檢查，并標記無法寫入和讀取的存儲空間；

禁止為所述待存儲文件分配無法寫入和讀取的存儲空間。

7.根據權利要求1所述的方法，其特征在于，所述根據所述請求信息、索引信息及屬性信息在所述分布式存儲系統中查詢相應的目標文件的步驟，包括：

從所述請求信息中提取哈希值；

根據所述哈希值從所述索引信息及屬性信息中查詢與所述哈希值相匹配的目標哈希值；

從所述分布式存儲系統中獲取所述目標哈希值相應的目標文件。

8.一種分布式存儲和檢索裝置，其特征在于，包括：

獲取模塊，用于獲取待存儲文件，在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中；其中，所述待存儲文件包括多個數據塊；

標記模塊，用于當檢測到有多個存儲空間時，將所述多個存儲空間進行連續空間位置標記；

配置模塊，用于在所述待存儲文件的各個數據塊的頭部配置索引信息及屬性信息，并將所述索引信息、屬性信息及對應的數據塊保存在同一存儲空間中；

查詢模塊，用于響應于用戶發起的文件查詢請求，從所述文件查詢請求中提取出請求信息，根據所述請求信息、索引信息及屬性信息在所述分布式存儲系統中查詢相應的目標文件，將所述目標文件發送給所述用戶。