[發明專利]文件處理方法、系統、電子設備和存儲介質

在審

• 申請號: 202110356539.0
• 申請日: 2021-04-01
• 公開（公告）號: CN112948327A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 辛世友
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

本發明提供了一種文件處理方法、系統、電子設備和存儲介質，所述方法應用于分布式文件管理系統，分布式文件管理系統包括管理節點、模擬節點和N個數據節點，模擬節點基于管理節點生成，所述方法包括：模擬節點獲取N個數據節點中每一數據節點存儲的文件對象的文件信息；根據文件信息確定M個目標文件對象；將M個目標文件對象移動到目標文件夾；根據目標文件夾的路徑，修改M個目標文件對象的路徑。本發明實施例中，通過模擬節點獲取每一數據節點存儲的文件對象的文件信息，進而根據文件信息確定目標文件對象。將目標文件對象移動到目標文件夾，避免每個小文件占用一個對應的索引，以此釋放系統的內存空間，提高系統處理文件的性能。

技術領域

本發明涉及網絡技術領域，特別是涉及文件處理方法、系統、電子設備和存儲介質。

背景技術

目前，隨著互聯網技術的發展，需要進行存儲和處理的數據不斷增長，分布式文件系統(Distributed File System，DFS)應運而生。分布式文件系統可以對數據量較大的文件進行存儲和管理，分布式文件系統將文件存儲在多個節點，通過網絡進行節點間的通信和數據傳輸，方便用戶訪問。

然而，以分布式文件系統為Hadoop分布式文件系統(Hadoop Distributed FileSystem，HDFS)為例，HDFS存在大量的數據量較小的小文件，且每個小文件占用對應的數據節點中的一個索引來存儲小文件的數據信息，這占用了系統的大量內存，影響系統的性能。

發明內容

本發明實施例的目的在于提供一種文件處理方法、系統、電子設備和存儲介質，解決分布式文件系統中的小文件占用了大量內存，進而影響系統性能的技術問題。具體技術方案如下：

在本發明實施例的第一方面，首先提供了一種文件處理方法，應用于分布式文件管理系統，所述分布式文件管理系統包括管理節點、模擬節點和N個數據節點，所述模擬節點基于所述管理節點生成，所述數據節點存儲有數據文件，N為正整數，所述方法包括：

所述模擬節點獲取所述N個數據節點中每一數據節點存儲的文件對象的文件信息，一個所述文件對象占用對應的數據節點中的一個索引；

根據所述文件信息確定M個目標文件對象，所述M個目標文件對象為占用內存值小于預設值的文件或者文件夾，所述M為大于1的正整數；

將所述M個目標文件對象移動到目標文件夾，所述目標文件夾存儲于任一數據節點，所述目標文件夾占用對應的數據節點中的一個索引；

根據所述目標文件夾的路徑，修改所述M個目標文件對象的路徑。

在本發明實施例的第二方面，還提供了一種文件處理系統，所述文件處理系統包括管理節點、模擬節點和N個數據節點，所述模擬節點基于所述管理節點生成，所述數據節點存儲有數據文件，N為正整數；

所述模擬節點，用于獲取所述N個數據節點中每一數據節點存儲的文件對象的文件信息，一個所述文件對象占用對應的數據節點中的一個索引；

根據所述文件信息確定M個目標文件對象，所述M個目標文件對象為占用內存值小于預設值的文件或者文件夾，所述M為大于1的正整數；

將所述M個目標文件對象移動到目標文件夾，所述目標文件夾存儲于任一數據節點，所述目標文件夾占用對應的數據節點中的一個索引；

根據所述目標文件夾的路徑，修改所述M個目標文件對象的路徑。

在本發明實施例的第三方面，還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有指令，當其在計算機上運行時，使得計算機執行上述任一實施例所述的文件處理方法。

在本發明實施的第四方面，還提供了一種包含指令的計算機程序產品，當其在計算機上運行時，使得計算機執行上述任一實施例所述的文件處理方法。