[發明專利]基于分布式文件系統的文件處理方法及裝置

在審

• 申請號: 202110228934.0
• 申請日: 2021-03-02
• 公開（公告）號: CN113760827A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 江鶴
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16;G06F16/182
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 王莉莉

1.一種基于分布式文件系統的文件處理方法，包括：

從所述分布式文件系統中的多個文件目錄中，選擇多個候選文件目錄；

確定每個候選文件目錄所包括的多個業務文件之間的不均勻率，所述不均勻率表征所述多個業務文件的文件大小之間的離散程度；

根據與所述多個候選文件目錄對應的不均勻率，對所述多個候選文件目錄中的至少一個候選文件目錄進行均勻化處理，使得所述至少一個候選文件目錄所包括的多個業務文件均勻存儲到所述分布式文件系統的各個數據塊中。

2.根據權利要求1所述的基于分布式文件系統的文件處理方法，其中，確定每個候選文件目錄所包括的多個業務文件之間的不均勻率包括：

計算所述每個候選文件目錄所包括的多個業務文件的文件大小的相對平均偏差，作為與所述每個候選文件目錄對應的不均勻率。

3.根據權利要求2所述的基于分布式文件系統的文件處理方法，其中，計算所述每個候選文件目錄所包括的多個業務文件的文件大小的相對平均偏差包括：

計算所述多個業務文件的文件大小的平均值，作為總平均值；

確定所述多個業務文件中、文件大小小于所述總平均值的業務文件為第一業務文件；

確定所述多個業務文件中、文件大小大于或等于所述總平均值的業務文件為第二業務文件；

分別確定所述第一業務文件的數量和所述第二業務文件的數量；

計算所述第一業務文件的文件大小的平均值和所述第二業務文件的文件大小的平均值，分別作為第一均值和第二均值；

根據所述總平均值、所述第一均值、所述第二均值、所述第一業務文件的數量和所述第二業務文件的數量，計算所述相對平均偏差。

4.根據權利要求1所述的基于分布式文件系統的文件處理方法，其中，根據與所述多個候選文件目錄對應的不均勻率，對所述多個候選文件目錄中的至少一個候選文件目錄進行均勻化處理包括：

對與所述多個候選文件目錄對應的不均勻率進行排序；

對不均勻率最大的前M個候選文件目錄中的每個候選文件目錄進行均勻化處理，M為正整數。

5.根據權利要求1所述的基于分布式文件系統的文件處理方法，其中，根據與所述多個候選文件目錄對應的不均勻率，對所述多個候選文件目錄中的至少一個候選文件目錄進行均勻化處理包括：

對不均勻率大于不均勻率閾值的每個候選文件目錄進行均勻化處理。

6.根據權利要求1所述的基于分布式文件系統的文件處理方法，其中，選擇多個候選文件目錄包括：

從所述分布式文件系統所服務的多個業務單元中，選擇一個或多個候選業務單元；

確定每個候選業務單元所產生的業務文件的數量與用于存儲所述每個候選業務單元所產生的業務文件的數據塊的數量的和，作為第一值；

從所述一個或多個候選業務單元中，選擇第一值最大的前N個業務單元，作為目標業務單元，N為正整數；

對于每個目標業務單元，選擇與所述每個目標業務單元對應的多個文件目錄，作為所述多個候選文件目錄。

7.根據權利要求6所述的基于分布式文件系統的文件處理方法，其中，所述分布式文件系統包括多個管理節點，選擇一個或多個候選業務單元包括：

確定每個管理節點所維護的業務文件的數量與用于存儲所述每個管理節點所維護的業務文件的數據塊的塊數的和，作為第二值；

確定每個管理節點可維護的業務文件的最大數量與用于存儲所述最大數量的業務文件的數據塊的塊數的和，作為第三值；

選擇第二值與第三值的比值大于比值閾值的一個或多個管理節點，作為一個或多個目標管理節點；

選擇與所述一個或多個目標管理節點對應的一個或多個業務單元，作為所述一個或多個候選業務單元。