[發明專利]文件分配方法、裝置、設備以及存儲介質

在審

• 申請號: 202310010459.9
• 申請日: 2023-01-04
• 公開（公告）號: CN115981821A
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 郝偉;劉加瑞
• 申請（專利權）人: 安徽華云安科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京華專卓海知識產權代理事務所(普通合伙) 11664
• 代理人: 王一

本公開的實施例提供了一種文件分配方法、裝置、設備以及存儲介質。該方法包括：獲取多個待分配文件；獲取多個待分配文件；根據多個待分配文件，對預設各分組進行初始化文件分配；從初始化文件分配后的多個分組中選擇已分配文件大小之和最小的分組作為目標分組，并從剩余的待分配文件中選擇偏離系數最小的待分配文件為目標文件，將目標文件分配至目標分組；其中，剩余的各待分配文件的偏離系數為目標分組的已分配文件大小之和加上對應的待分配文件的大小，并減去分組平均容量之后所得數值的絕對值；重復上述目標文件分配操作，直到待分配文件分配完畢。以此方式，能夠將待分配文件以盡可能平均的方式分配出去。

技術領域

本公開涉及計算機技術領域，尤其涉及一種文件分配方法、裝置、設備以及存儲介質。

背景技術

在大數據處理中，往往會有海量的文件數據需要處理。目前通常會將這些文件分配給多臺設備以進行并行處理。在分配時，往往采用隨機的方式進行文件分配，以保證文件容量分配的均勻性。

但是這種隨機的方式，在文件大小傾斜(即有的部分文件相對其他文件特別大)時難以保證文件能夠均勻地進行分配。

發明內容

本公開提供了一種文件分配方法、裝置、設備以及存儲介質。

第一方面，本公開的實施例提供了一種文件分配方法，該方法包括：

獲取多個待分配文件；

根據多個待分配文件，對預設各分組進行初始化文件分配；

從初始化文件分配后的多個分組中選擇已分配文件大小之和最小的分組作為目標分組，并從剩余的待分配文件中選擇偏離系數最小的待分配文件為目標文件，將目標文件分配至目標分組；其中，剩余的各待分配文件的偏離系數為目標分組的已分配文件大小之和加上對應的待分配文件的大小，并減去分組平均容量之后所得數值的絕對值；

重復上述目標文件分配操作，直到待分配文件分配完畢。

在第一方面的一些可實現方式中，預設各分組的構建包括以下步驟：

根據集群的設備數量，設置分組數量，構建多個分組。

在第一方面的一些可實現方式中，根據多個待分配文件，對預設各分組進行初始化文件分配，包括：

從多個待分配文件中為各分組隨機分配預設個數的待分配文件。

在第一方面的一些可實現方式中，根據多個待分配文件，對預設各分組進行初始化文件分配，包括：

根據文件大小對多個待分配文件進行從大到小排序，依次選取大小在前的預設個數的待分配文件分配至各分組。

在第一方面的一些可實現方式中，該方法還包括：

通過分組對應的設備對分組中的文件進行處理。

在第一方面的一些可實現方式中，分組平均容量是通過將多個待分配文件的大小累加，并將累加之和除以分組數量得到的。

第二方面，本公開的實施例提供了一種文件分配裝置，該裝置包括：

獲取模塊，用于獲取多個待分配文件；

分配模塊，用于根據多個待分配文件，對預設各分組進行初始化文件分配；

分配模塊，還用于從初始化文件分配后的多個分組中選擇已分配文件大小之和最小的分組作為目標分組，并從剩余的待分配文件中選擇偏離系數最小的待分配文件為目標文件，將目標文件分配至目標分組；其中，剩余的各待分配文件的偏離系數為目標分組的已分配文件大小之和加上對應的待分配文件的大小，并減去分組平均容量之后所得數值的絕對值；

分配模塊，還用于重復上述目標文件分配操作，直到待分配文件分配完畢。