[發明專利]一種文件管理的方法、裝置、設備和系統

在審

• 申請號: 202110649924.4
• 申請日: 2021-06-10
• 公開（公告）號: CN115543921A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 王義彬;孫靈川;林鑫翔
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06K9/62;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種文件管理的方法，裝置、設備及系統，方法包括獲取文件的存儲路徑，并根據存儲路徑和屬性預測模型計算得到文件的屬性，再根據屬性確定文件的存儲策略。以此利用文件的存儲路徑預測文件的屬性，并得到文件的存儲策略，減少了對文件的元數據的訪問次數，提高了文件存儲和讀取的速度。

技術領域

本申請涉及計算機技術領域，尤其涉及一種文件管理的方法、設備和系統。

背景技術

隨著近年來數據的爆炸式增長，文件的智能式管理將成未來的主流模式之一。根據文件信息的價值可以衡量不同文件的重要程度，重要的文件需要得到更快的訪問速度和更嚴謹的保存策略。目前的主流分布式文件系統主要依賴查詢文件的元信息去衡量文件的價值，以便衡量文件的存儲方法和存儲區域，然而在大規模文件的分布式存儲中，訪問每個文件的元數據信息將是非常耗時的過程。不僅如此，同一個文件在不同的節點上，由于一段時間內訪問次數和訪問要求均不同，其文件的價值也隨時間和節點的變化有所不同。往往導致將原始文件上傳至分布式系統的過程，或者從一個分布式系統遷移到另一個分布式系統時，產生了巨大的時間損耗，嚴重影響分布式文件系統的存儲性能。因此，如何提供一種能高效感知文件的價值，提升分布式文件系統中文件存儲速度和性能的方法成為亟待解決的技術問題。

發明內容

本申請提供了一種文件管理的方法、設備和系統，以此提供一種高效感知文件的大小和生命周期，推薦文件的存儲策略的方法，提升分布式文件系統中文件存儲速度和性能。

第一方面，提供一種文件管理的方法，該方法包括：獲取文件的存儲路徑，并根據存儲路徑和屬性預測模型計算得到文件的屬性，再根據屬性確定文件的存儲策略。通過上述方法，可以利用文件的存儲路徑預測文件的屬性，并得到文件的存儲策略，減少了對文件的元數據的訪問次數，提高了文件存儲和讀取的速度。

在一種可能的實現方式中，在計算得到文件的屬性之前，該方法還包括：獲取已經保存的文件的屬性數據和文件路徑，并使用屬性數據和文件路徑訓練初始模型得到屬性預測模型。通過上述方法，可以使用訓練好的屬性預測模型預測文件的屬性，提高了預測的準確度。

在另一種可能的實現方法中，管理的文件為新創建文件，屬性為該文件的大小，文件的存儲策略為該文件的數據存儲時使用的條帶的數量。通過上述方法，可以利用文件的存儲路徑預測文件的大小，并得到文件存儲時的布局策略，減少了對文件的元數據的訪問次數，提高了文件存儲的速度。

在另一種可能的實現方法中，管理的文件為客戶端文件，屬性為該文件的生命周期值，文件的存儲策略為該文件的數據存儲時使用的存儲介質。通過上述方法，可以利用文件的存儲路徑預測文件的生命周期值，并得到文件存儲時的存儲介質，減少了對文件的元數據的訪問次數，提高了文件在客戶端讀取時的速度和性能。

在另一種可能的實現方法中，確定文件數據存儲時使用的存儲介質的方法具體為：獲取文件當前存儲的第一存儲介質以及該文件在第一存儲介質中存放的時間；當存放時間不超過第一時間閾值時，依然使用第一存儲介質存放；當存放時間超過第一時間閾值時，使用第二存儲介質存放，并且第二存儲介質的讀取速度小于第一存儲介質的讀取速度。通過上述方法，可以將存放時間超過文件的生命周期預測值的文件存儲在讀取速度較慢的存儲介質中，將有限的資源優先滿足經常使用的文件。

第二方面，本申請提供一種文件管理的裝置，文件管理裝置可以是位于客戶端上或者其他設備上的軟件裝置或硬件裝置，也可以是一臺單獨的設備，所述文件管理裝置包括用于執行第一方面或第一方面任一種可能實現方式中的文件管理方法的各個模塊。

第三方面，本申請提供一種設備，該設備包括處理器和存儲器。其中，存儲器用于存儲屬性預測模型和計算機執行指令。處理器用于執行所述存儲器中的計算機執行指令，使得設備執行第一方面或第一方面任一種可能實現方式中的文件管理方法的操作步驟。