[發(fā)明專利]分布式存儲和檢索方法、裝置及計算機設備

在審

• 申請?zhí)枺?/td>: 202110457461.1
• 申請日: 2021-04-27
• 公開（公告）號: CN113094374A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設計）人: 戴磊;馮月;王俊
• 申請（專利權）人: 廣州炒米信息科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27
• 代理公司: 廣東勰思律師事務所 44609
• 代理人: 趙賽

本發(fā)明涉及計算機存儲技術領域，提供了一種分布式存儲和檢索方法、裝置及計算機設備。所述分布式存儲和檢索方法包括：獲取待存儲文件，在預先構建的分布式存儲系統中為待存儲文件分配存儲空間，將待存儲文件保存在存儲空間中；當檢測到有多個存儲空間時，將多個存儲空間進行連續(xù)空間位置標記；在待存儲文件的各個數據塊的頭部配置索引信息及屬性信息，并將索引信息、屬性信息及對應的數據塊保存在同一存儲空間中；響應于用戶發(fā)起的文件查詢請求，從文件查詢請求中提取出請求信息，根據請求信息、索引信息及屬性信息在分布式存儲系統中查詢相應的目標文件，將目標文件發(fā)送給用戶，從而實現碎片化管理各個存儲文件，操作簡單且高效。

技術領域

本發(fā)明涉及計算機存儲技術領域，尤其涉及一種分布式存儲和檢索方法、裝置及計算機設備。

背景技術

隨著計算機技術的飛速發(fā)展、信息量的與日俱增，存儲系統已經成為計算機系統尤其是大型分布式計算機系統的瓶頸。分布式文件系統可以方便有效地管理存儲系統，并充分發(fā)揮存儲子系統的性能。

現有的分布式存儲和檢索方法，存儲和檢索方式繁瑣，無法快速高效地為文件分配存儲空間。

發(fā)明內容

本發(fā)明提供一種分布式存儲和檢索方法、裝置及計算機設備，實現快速高效地為文件分配存儲空間。

為解決上述問題，本發(fā)明采用如下技術方案：

本發(fā)明提供一種分布式存儲和檢索方法，包括如下步驟：

獲取待存儲文件，在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中；其中，所述待存儲文件包括多個數據塊；

當檢測到有多個存儲空間時，將所述多個存儲空間進行連續(xù)空間位置標記；

在所述待存儲文件的各個數據塊的頭部配置索引信息及屬性信息，并將所述索引信息、屬性信息及對應的數據塊保存在同一存儲空間中；

響應于用戶發(fā)起的文件查詢請求，從所述文件查詢請求中提取出請求信息，根據所述請求信息、索引信息及屬性信息在所述分布式存儲系統中查詢相應的目標文件，將所述目標文件發(fā)送給所述用戶。

在一實施例中，所述將所述待存儲文件保存在所述存儲空間中的步驟之后，還包括：

獲取所述待存儲文件的分配記錄與回收記錄；

將所述分配記錄與回收記錄保存在所述分布式存儲系統的緩存及動態(tài)空間數據塊中；其中，所述緩存用于分配與回收存儲空間，所述動態(tài)空間數據塊用于在所述待存儲文件分配或回收異常后，將所述待存儲文件恢復至所述緩存中繼續(xù)使用。

在一實施例中，所述將所述待存儲文件保存在所述存儲空間中的步驟之后，還包括：

當檢測到所述存儲空間當前使用的內存空間大于預定閾值時，將所述緩存的內存空間按照預設比例進行釋放；

將大于預定閾值的所述待存儲文件的數據塊加載到釋放后的所述緩存中。

在一實施例中，所述在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中的步驟，包括：

獲取分布式存儲系統的所有存儲空間的使用次數，篩選出使用次數低于預設次數的存儲空間，得到目標存儲空間；

為所述待存儲文件分配目標存儲空間，并將所述待存儲文件保存在所述目標存儲空間中。

在一實施例中，所述在預先構建的分布式存儲系統中為所述待存儲文件分配存儲空間，將所述待存儲文件保存在所述存儲空間中的步驟，包括：

獲取所述分布式存儲系統的所有存儲空間，從所有存儲空間中篩選出可使用的多個存儲空間，得到多個目標存儲空間；