[發明專利]一種文件整理方法和裝置

在審

• 申請號: 201810915902.6
• 申請日: 2018-08-13
• 公開（公告）號: CN110874349A
• 公開（公告）日: 2020-03-10
• 發明（設計）人: 王子璠
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;郭晗

1.一種文件整理方法，其特征在于，包括：

根據任務信息中配置的文件整理選項，確定對所述任務的結果文件集的整理策略；

按照所述整理策略整理所述結果文件集。

2.根據權利要求1所述的方法，其特征在于，按照所述整理策略整理所述結果文件集的步驟，包括：

如果所述結果文件集的總大小大于預設閾值，則根據所述任務信息中文件分類字段的配置，對所述結果文件集進行文件分類和調整大小的操作；

如果所述結果文件集的總大小小于或等于所述預設閾值，則對所述結果文件集進行文件合并的操作。

3.根據權利要求1所述的方法，其特征在于，按照所述整理策略整理所述結果文件集的步驟，包括：

根據所述任務信息中文件分類字段的配置，對所述結果文件集進行文件分類和調整大小的操作。

4.根據權利要求2或3所述的方法，其特征在于，根據所述任務信息中文件分類字段的配置，對所述結果文件集進行文件分類和調整大小的操作的步驟，包括：

如果所述任務信息中文件分類字段的數量大于設定值，則按照所述文件分類字段對所述結果文件集中的結果文件分類，并在所述分類成功后，對所述分類得到的每個類型的結果文件調整大小；

如果所述任務信息中文件分類字段的數量不大于所述設定值，或者所述分類失敗，則對所述結果文件集中的結果文件調整大小。

5.根據權利要求4所述的方法，其特征在于，在所述分類成功后，對所述分類得到的每個類型的結果文件調整大小的步驟，包括：

對于每個類型，

當該類型的各結果文件的總大小小于或等于預設文件大小時，將所述各結果文件合并為一個結果文件；

當該類型的各結果文件的總大小大于所述預設文件大小時，按照所述預設文件大小來調整每一結果文件的大小；

對所述結果文件集中的結果文件調整大小的步驟，包括：

對于所述結果文件集中的結果文件，按照所述預設文件大小來調整每一結果文件的大小；

其中，在所述結果文件集或所述每個類型的所有結果文件中，按照所述預設文件大小來調整大小之后，至多存在一個小于所述預設文件大小的結果文件，而其他結果文件的大小均等于所述預設文件大小。

6.根據權利要求5所述的方法，其特征在于，所述每個類型的類型值通過HDFS路徑內容來表示。

7.一種文件整理裝置，其特征在于，包括：

整理策略確定模塊，用于根據任務信息中配置的文件整理選項，確定對所述任務的結果文件集的整理策略；

結果文件整理模塊，用于按照所述整理策略整理所述結果文件集。

8.根據權利要求7所述的裝置，其特征在于，所述結果文件整理模塊還用于：

如果所述結果文件集的總大小大于預設閾值，則根據所述任務信息中文件分類字段的配置，對所述結果文件集進行文件分類和調整大小的操作；

如果所述結果文件集的總大小小于或等于所述預設閾值，則對所述結果文件集進行文件合并的操作。

9.根據權利要求7所述的裝置，其特征在于，所述結果文件整理模塊還用于：

根據所述任務信息中文件分類字段的配置，對所述結果文件集進行文件分類和調整大小的操作。

10.根據權利要求8或9所述的裝置，其特征在于，所述結果文件整理模塊包括整理子模塊，用于：

如果所述任務信息中文件分類字段的數量大于設定值，則按照所述文件分類字段對所述結果文件集中的結果文件分類，并在所述分類成功后，對所述分類得到的每個類型的結果文件調整大小；

如果所述任務信息中文件分類字段的數量不大于所述設定值，或者所述分類失敗，則對所述結果文件集中的結果文件調整大小。