[發明專利]一種基于數據表分區的數據采集方法及系統

有效

• 申請號: 201810371164.3
• 申請日: 2018-04-24
• 公開（公告）號: CN108664567B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 石宇楠;化金龍;尹杰
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458;G06F3/0485
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 任默聞;賈磊

1.一種基于數據表分區的數據采集方法，其特征在于，包括：

獲取待采集的數據表信息及滑動窗；所述數據表信息包括：各分區的編號以及各分區對應的月份；所述滑動窗的長度代表包括當前采集月份在內的月份的個數；

根據所述滑動窗及當前采集月份確定有數據的月份及無數據的月份；所述有數據的月份為所述滑動窗之內的月份；所述無數據的月份為所述滑動窗之外的月份；

根據各采集作業的編號、各所述分區的編號以及各所述分區對應的月份生成采集參數表；所述采集作業為對數據表中的各分區的數據進行采集的操作；

根據所述采集參數表對各所述分區執行對應編號的采集作業；

其中，所述根據各采集作業的編號、各所述分區的編號以及各所述分區對應的月份生成采集參數表，包括：

將任選的兩個采集作業的編號分配到所述無數據的月份對應的分區；

將除了所述兩個采集作業的編號之外的采集作業的編號全部分配到所述有數據的月份對應的分區；

根據各所述采集作業的編號、各所述分區的編號以及各所述采集作業的編號對應的所述無數據的月份及所述有數據的月份，生成采集參數表。

2.根據權利要求1所述的基于數據表分區的數據采集方法，其特征在于，所述將任選的兩個采集作業的編號分配到所述無數據的月份對應的分區，包括：

當所述無數據的月份分布于所述有數據的月份的兩側時，將所述兩個采集作業的編號中的一個編號分配到一側無數據的月份對應的分區，另一個編號分配到另一側無數據的月份對應的分區。

3.根據權利要求1所述的基于數據表分區的數據采集方法，其特征在于，所述將除了所述兩個采集作業的編號之外的采集作業的編號全部分配到所述有數據的月份對應的分區，包括：

當所述有數據的月份為跨年的連續月份時，將除了所述兩個采集作業的編號之外的一部分采集作業的編號分配到一年份內的有數據的月份對應的分區，另一部分采集作業的編號分配到另一年份內有數據的月份對應的分區。

4.根據權利要求1所述的基于數據表分區的數據采集方法，其特征在于，所述根據所述采集參數表對各所述分區執行對應編號的采集作業，包括：

根據所述采集參數表，獲取各所述采集作業的編號對應的分區；

根據所述分區對應的采集作業的編號對各所述分區并行執行數據采集。

5.一種基于數據表分區的數據采集系統，其特征在于，包括：

獲取單元，用于獲取待采集的數據表信息及滑動窗；所述數據表信息包括：各分區的編號以及各分區對應的月份；所述滑動窗的長度代表包括當前采集月份在內的月份的個數；

有數據的月份及無數據的月份確定單元，用于根據所述滑動窗及當前采集月份確定有數據的月份及無數據的月份；所述有數據的月份為所述滑動窗之內的月份；所述無數據的月份為所述滑動窗之外的月份；

采集參數表生成單元，用于根據各采集作業的編號、各所述分區的編號以及各所述分區對應的月份生成采集參數表；所述采集作業為對數據表中的各分區的數據進行采集的操作；

采集作業執行單元，用于根據所述采集參數表對各所述分區執行對應編號的采集作業。

其中，所述采集參數表生成單元包括；

第一分配模塊，用于將任選的兩個采集作業的編號分配到所述無數據的月份對應的分區；

第二分配模塊，用于將除了所述兩個采集作業的編號之外的采集作業的編號全部分配到所述有數據的月份對應的分區；

采集參數表生成模塊，用于根據各所述采集作業的編號、各所述分區的編號以及各所述采集作業的編號對應的所述無數據的月份及所述有數據的月份，生成采集參數表。

6.根據權利要求5所述的基于數據表分區的數據采集系統，其特征在于，所述第一分配模塊具體用于：

當所述無數據的月份分布于所述有數據的月份的兩側時，將所述兩個采集作業的編號中的一個編號分配到一側無數據的月份對應的分區，另一個編號分配到另一側無數據的月份對應的分區。