[發明專利]一種讀取元數據的方法、裝置、系統及設備

在審

• 申請號: 201711021012.2
• 申請日: 2017-10-25
• 公開（公告）號: CN107633102A
• 公開（公告）日: 2018-01-26
• 發明（設計）人: 李長春
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司11227
• 代理人: 羅滿

技術領域

本發明涉及文件系統技術領域，更具體地說，涉及一種讀取元數據的方法、裝置、系統、設備及計算機可讀存儲介質。

背景技術

隨著移動互聯網和大數據概念的迅速發展崛起，需要存儲的數據量正以幾何級數增長，數據量的爆炸式增長以及數據類型的日益細化，KB級甚至更小的文件數量也越來越多。

目前，在分布式文件系統中讀取文件時，由于用戶進程和存儲介質往往分布在不同的節點，導致IO路徑較長。且每次讀取文件都需要在集群網絡內部訪問元數據，甚至可能需要跨網絡讀取元數據，跨網絡讀取文件的元數據增大了文件讀取的時延。當文件比較大，其讀取時間較長，其讀取元數據的時間在整個文件的讀取時間中的占比較小；當文件較小時，相應的其讀取時間有所縮減，但是讀取其元數據的時間在整個文件的讀取時間中的占比尤為明顯。因此，在海量小文件的讀取場景中，文件元數據的讀取對文件讀取性能的拖累更為明顯。

因此，在讀取海量小文件的過程中，如何減少文件的元數據的讀取時間，提高海量小文件的讀取性能，是本領域技術人員需要解決的問題。

發明內容

本發明的目的在于一種讀取元數據的方法、裝置、系統、設備及計算機可讀存儲介質，以實現減少文件的元數據的讀取時間，提高海量小文件的讀取性能。

為實現上述目的，本發明實施例提供了如下技術方案：

一種讀取元數據的方法，包括：

接收客戶端發送的讀取目標文件的元數據的請求；

根據所述請求的目標文件確定與所述目標文件相關的文件；

讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。

其中，所述根據所述請求的目標文件確定與所述目標文件相關的文件，包括：

根據所述請求的目標文件所在的目錄，以及所述目錄中文件的偏移量確定與所述目標文件相關的文件。

其中，所述讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端，包括：

異步讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。

其中，所述客戶端發送讀取目標文件的元數據的請求之前，還包括；

所述客戶端判斷是否緩存有所述目標文件的元數據；

若是，則所述客戶端讀取所述目標文件的元數據；

若否，則所述客戶端發送讀取目標文件的元數據的請求至服務端，所述服務端執行所述接收客戶端發送的讀取目標文件的元數據的請求的步驟。

一種讀取元數據的裝置，包括：

接收模塊，用于接收客戶端發送的讀取目標文件的元數據的請求；

確定模塊，用于根據所述請求的目標文件確定與所述目標文件相關的文件；

讀取模塊，用于讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。

其中，所述確定模塊具體用于：

根據所述請求的目標文件所在的目錄，以及所述目錄中文件的偏移量確定與所述目標文件相關的文件。

其中，所述讀取模塊具體用于：

異步讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。

一種讀取元數據的系統，包括：

客戶端，用于發送讀取目標文件的元數據的請求；

服務端，用于接收所述客戶端發送的讀取目標文件的元數據的請求；根據所述請求的目標文件確定與所述目標文件相關的文件；讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。

一種讀取元數據的設備，包括：

存儲器，用于存儲讀取元數據的程序；

處理器，用于執行所述讀取元數據的程序時實現上述任意一項所述的讀取元數據的方法的步驟。

一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有讀取元數據的程序，所述讀取元數據的程序被處理器執行時實現上述任意一項所述的讀取元數據的方法的步驟。

通過以上方案可知，本發明實施例提供的一種讀取元數據的方法，所述方法包括：接收客戶端發送的讀取目標文件的元數據的請求；根據所述請求的目標文件確定與所述目標文件相關的文件；讀取所述目標文件的元數據，以及與所述目標文件相關的文件的元數據并緩存至所述客戶端。