[發明專利]一種元數據存儲方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201811043806.3
• 申請日: 2018-09-07
• 公開（公告）號: CN109144425A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 劉洪棟
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種基于分布式集群存儲系統的元數據存儲方法，包括：在第一目標文件被修改或者創建時，將目錄列表中存儲的與第一目標文件對應的臟元數據指針存入臟元數據列表；在執行臟元數據落盤操作時，僅掃描臟元數據列表中的臟元數據指針，將與臟元數據列表對應的臟元數據落盤至數據池。可見，在本方案中，由于在對文件執行修改或者創建操作時，已經將被修改的元數據的臟元數據指針存入臟元數據列表，因此在執行臟元數據落盤操作時，只需要掃描臟元數據列表便可將臟元數據落盤至數據池，從而節省臟元數據落盤時間，提高臟元數據落盤性能；本發明還公開了一種元數據存儲裝置、設備及計算機可讀存儲介質，同樣能實現上述技術效果。

技術領域

本發明涉及元數據落盤技術領域，更具體地說，涉及一種基于分布式集群存儲系統的元數據存儲方法、裝置、設備及計算機可讀存儲介質。

背景技術

在分布式集群存儲在海量數據場景下廣泛應用，如在高性能、視頻監控、廣電媒資等場景。目前，存儲的性能是分布式存儲一致追逐的目標，其中對于海量小文件場景，元數據性能則成為瓶頸。文件創建或修改后，元數據需要進行落盤存儲。當前，落盤是以目錄為單位，掃描整個目錄，將臟元數據進行落盤，如果目錄下文件數量非常巨大，該掃描需要耗費大量時間，落盤性能會隨著目錄的變大而逐漸下降。

因此，如何節省臟元數據落盤時間，提高臟元數據落盤性能，是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于提供一種基于分布式集群存儲系統的元數據存儲方法、裝置、設備及計算機可讀存儲介質，以實現節省臟元數據落盤時間，提高臟元數據落盤性能。

為實現上述目的，本發明實施例提供了如下技術方案：

一種基于分布式集群存儲系統的元數據存儲方法，包括：

在第一目標文件被修改或者創建時，將目錄列表中存儲的與所述第一目標文件對應的臟元數據指針存入臟元數據列表；

在執行臟元數據落盤操作時，僅掃描所述臟元數據列表中的臟元數據指針，將與所述臟元數據列表對應的臟元數據落盤至數據池。

其中，所述將與所述臟元數據列表對應的臟元數據落盤至數據池之后，還包括：

將所述臟元數據列表中已經落盤至數據池的臟元數據指針置為Clean狀態。

其中，本方案還包括：

判斷元數據服務器中緩存的元數據是否超過預定閾值；

若是，則刪除元數據指針狀態為Clean的元數據指針及對應的元數據。

其中，本方案還包括：

在第二目標文件被修改時，判斷是否能根據所述臟元數據列表查找到與所述第二目標文件對應的元數據；

若能，則根據所述臟元數據列表對與所述第二目標文件對應的元數據進行修改，并將所述臟元數據列表中與所述第二目標文件對應的元數據指針置為Dirty狀態；其中，置為Dirty狀態的元數據指針即為臟元數據指針；

若不能，判斷是否能根據所述目錄列表查找到與所述第二目標文件對應的元數據；若能查找到，則根據所述目錄列表對與所述第二目標文件對應的元數據進行修改，并將所述目錄列表中與所述第二目標文件對應的元數據指針置為Dirty狀態，并加入所述臟元數據列表；

若查找不到，則從數據池中加載與所述第二目標文件的元數據并修改。

一種基于分布式集群存儲系統的元數據存儲裝置，包括：

臟元數據指針存儲模塊，用于在第一目標文件被修改或者創建時，將目錄列表中存儲的與所述第一目標文件對應的臟元數據指針存入臟元數據列表；