[發明專利]一種索引預分配的方法及裝置

有效

• 申請號: 202110374789.7
• 申請日: 2021-04-07
• 公開（公告）號: CN113111034B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 解志陽;孟祥瑞
• 申請（專利權）人: 山東英信計算機技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/23;G06F16/172;G06F16/182
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 黃曉燕

本發明公開的一種索引預分配的方法及裝置，MDS響應于客戶端的請求為客戶端分配初始數量的索引節點，所述客戶端創建文件使用所述索引節點，所述MDS對所述客戶端使用所述索引節點的情況進行監控并通過第一映射表記錄當前的分配索引節點數，如果當前的索引節點數低于分配量閾值時；所述MDS給所述客戶端分配索引節點。所述MDS利用第二映射表記錄分配的索引節點中未被占用的索引節點的索引節點號。所述MDS回收分配給斷開連接的所述客戶端或者沒有文件創建活動目錄的索引節點。本發明通過持續的預分配索引節點保證客戶端文件創建的順利進行，加快客戶端文件處理速度。而且通過索引節點回收機制來避免將索引節點資源分配給用不到的客戶端或者目錄，節約資源。

技術領域

本發明涉及分布式存儲索引技術領域，尤其涉及一種索引預分配的方法及裝置。

背景技術

目前的分布式文件系統，客戶端在進行文件處理時，需要向MDS(Meta-dataServer)發送消息申請索引節點，然后等待MDS回復給客戶端一定的索引節點，客戶端才能進行下一步操作。

在分布式文件系統的視頻監控等應用場景下，一般會根據日期創建目錄，且在一定時間內在一個目錄下連續大量的進行文件創建。一般的客戶端與目錄之間的關系為一對多的關系，即一個客戶端對應多個目錄，而一個目錄不會涉及到多個客戶端。在視頻監控的應用場景下，一般涉及的文件數據量往往比較大，且涉及的文件數據最終量對于MDS來說是不可預測的，客戶端請求MDS分配的索引節點可能很快使用完，再要進行文件處理時，客戶端仍需重復重新申請索引節點，這就造成了文件處理緩慢的問題。

發明內容

為解決上述的問題本發明提供一種索引預分配的方法，包括：

在MDS構建第一映射表，所述第一映射表記錄客戶端的目錄與索引節點分配量的映射關系；

所述MDS響應于客戶端的索引節點申請，為所述客戶端配置初始數量的索引節點，所述客戶端從中取一個索引節點填充目錄信息，所述客戶端將目錄信息發送給所述MDS，所述MDS將目錄信息反饋給上位機，所述MDS更新所述第一映射表；

所述MDS統計在創建目錄下文件創建過程中的索引節點占用量，并根據所述索引節點占用量更新所述第一映射表，所述第一映射表中當前的所述索引節點分配量等于原記錄的索引節點分配量減去索引節點占用量；

所述MDS判斷當前的所述索引節點分配量是否低于分配量閾值；

如果當前的所述索引節點分配量低于所述分配量閾值，則所述MDS給所述客戶端的目錄分配索引節點。

更進一步地，所述上位機將文件存儲在創建的目錄下時，所述客戶端選一個索引節點填充文件信息，所述客戶端將創建文件的請求發送給所述MDS，所述MDS根據接收的創建文件的請求統計所述索引節點占用量。

更進一步地，所述MDS配置空閑索引空間，所述空閑索引空間記錄未被分配且占用的索引節點號，所述MDS配置第二映射表，所述第二映射表記錄所述目錄與分配的索引節點號的映射關系；當所述MDS從所述空閑索引空間取索引節點號分配給所述目錄，所述MDS根據分配的索引節點號更新所述第二映射表，當分配的索引節點號被占用后，所述MDS將被占用的索引節點號從所述第二映射表刪除。

更進一步地，所述MDS監測所述客戶端的目錄中文件的創建活動，如果所述MDS在設定時間內未接收到所述目錄下創建文件的請求，則所述MDS獲取目標目錄下已分配且未被占用的索引節點號，將索引節點號回收。

更進一步地，所述MDS從所述第二映射表中獲取目標目錄下已分配且未被占用的索引節點號，所述MDS向所述客戶端發送回收信息，所述回收信息包括未被占用的索引節點號，所述客戶端根據所述回收信息將緩存中的索引節點刪除。