[發明專利]用于數據處理的方法及其設備

有效

• 申請號: 201710361385.8
• 申請日: 2017-05-19
• 公開（公告）號: CN108959302B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王旋;朱健
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/16
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 倪斌

1.一種用于處理數據的方法，包括：

獲取數據文件，所述數據文件包括具有不同業務時間的一個或多個數據；

解析所述數據文件，以獲取針對每個數據的業務時間；

根據每個數據的業務時間將所述數據文件切割為一個或多個數據段；以及

將所述一個或多個數據段分別存儲在一個或多個目錄下，

其中，根據每個數據的業務時間將所述數據文件切割為一個或多個數據段包括：設置一個或多個數據存儲桶；以及根據每個數據的業務時間將所述一個或多個數據中的至少一部分歸類到所述一個或多個數據存儲桶中的各個數據存儲桶中，

其中，將所述一個或多個數據段分別存儲在一個或多個目錄下包括：基于所述歸類將所述一個或多個數據寫入到所述一個或多個目錄中的不同目錄下。

2.根據權利要求1所述的方法，其中，設置一個或多個數據存儲桶包括：

以當前任務時間來作為所述一個或多個數據存儲桶中基準數據存儲桶的數據的起始時間，所述當前任務時間表示當前數據處理任務的執行時間；以及

所述一個或多個數據存儲桶中的其他數據存儲桶以所述基準數據存儲桶為基準，相鄰數據存儲桶之間間隔預定時間跨度。

3.根據權利要求2所述的方法，還包括：

針對每個業務時段設置指示不同時間屬性的一個或多個目錄。

4.根據權利要求3所述的方法，其中，指示不同時間屬性的一個或多個目錄包括以下至少一項：時間正常目錄、時間過早目錄、時間過晚目錄，

根據所設置的數據存儲桶將所述一個或多個數據寫入到不同目錄下包括：

將歸類到所設置的數據存儲桶的數據寫入到時間正常目錄下；

將其業務時間比歸類到所設置的數據存儲桶的數據早的數據寫入到時間過早目錄；以及

將其業務時間比歸類到所設置的數據存儲桶的數據晚的數據寫入到時間過晚目錄。

5.根據權利要求4所述的方法，其中，所述時間正常目錄包括多個時間正常目錄，所述多個時間正常目錄中的每一個與所設置的數據存儲桶中的各個數據存儲桶相對應。

6.根據權利要求5所述的方法，還包括：

在當前數據處理任務完成時，凍結所述多個時間正常目錄中業務時間最早的時間正常目錄。

7.根據權利要求6所述的方法，其中，通過向所述業務時間最早的時間正常目錄添加指示不再寫入的標記來凍結所述業務時間最早的時間正常目錄。

8.一種用于處理數據的設備，包括：

數據獲取模塊，用于獲取數據文件，所述數據文件包括具有不同業務時間的一個或多個數據；

數據解析模塊，用于解析所述數據文件，以獲取針對每個數據的業務時間；

數據切割模塊，用于根據每個數據的業務時間將所述數據文件切割為一個或多個數據段；以及

數據寫入模塊，用于將所述一個或多個數據段分別存儲在一個或多個目錄下，

其中，所述數據切割模塊還包括：數據存儲桶設置子模塊，用于設置一個或多個數據存儲桶；以及數據歸類子模塊，用于根據每個數據的業務時間將所述一個或多個數據中的至少一部分歸類到所述一個或多個數據存儲桶中的各個數據存儲桶中，

其中，所述數據寫入模塊還用于基于所述歸類將所述一個或多個數據寫入到所述一個或多個目錄中的不同目錄下。

9.根據權利要求8所述的設備，其中，所述數據存儲桶設置子模塊以當前任務時間來作為所述一個或多個數據存儲桶中基準數據存儲桶的數據的起始時間，所述當前任務時間表示當前數據處理任務的執行時間，以及所述一個或多個數據存儲桶中的其他數據存儲桶以所述基準數據存儲桶為基準，相鄰數據存儲桶之間間隔預定時間跨度。

10.根據權利要求9所述的設備，還包括：

目錄設置模塊，用于針對每個業務時段設置指示不同時間屬性的一個或多個目錄。