[發明專利]一種基于數據表分區的數據采集方法及系統有效

申請號：	201810371164.3	申請日：	2018-04-24
公開（公告）號：	CN108664567B	公開（公告）日：	2022-03-04
發明（設計）人：	石宇楠;化金龍;尹杰	申請（專利權）人：	中國銀行股份有限公司
主分類號：	G06F16/2457	分類號：	G06F16/2457;G06F16/2458;G06F3/0485
代理公司：	北京三友知識產權代理有限公司 11127	代理人：	任默聞;賈磊
地址：	100818 ***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于數據表分區數據采集方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供了一種基于數據表分區的數據采集方法及系統，包括：獲取待采集的數據表信息及滑動窗；數據表信息包括：各分區的編號以及各分區對應的月份；滑動窗的長度代表包括當前采集月份在內的月份的個數；根據滑動窗及當前采集月份確定有數據的月份及無數據的月份；有數據的月份為滑動窗之內的月份；無數據的月份為滑動窗之外的月份；根據各采集作業的編號、各分區的編號以及各分區對應的月份生成采集參數表；采集作業為對數據表中的各分區的數據進行采集的操作；根據采集參數表對各分區執行對應編號的采集作業。本發明具有提高資源利用率、采集作業的利用率以及采集效率的有益效果。

技術領域

本發明涉及數據采集技術領域，尤其涉及一種基于數據表分區的數據采集方法及系統。

背景技術

在目前的批量數據采集方式中，采用的均為每個采集作業每天運行時，對數據表中固定的分區進行數據采集。這種方式應用于大部分的表，但是對于數據分布不均勻并且按時間維度來變換存儲分區的表，現有的數據采集方式存在著效率低下、耗時較長的弊端。

因此，如何提高對數據分布不均且按照時間維度變化的數據表的數據采集效率是亟待解決的的技術問題。

發明內容

為了解決現有技術中的缺陷，本發明提供了一種基于數據表分區的數據采集方法及系統，在對分區的數據分布不均且按照時間維度變化的數據表進行數據采集時，通過引用了滑動窗及動態調整采集參數表，具有提高資源利用率、采集作業的利用率以及采集效率的有益效果。

為了實現上述目的，本發明提供了一種基于數據表分區的數據采集方法，該方法包括：

獲取待采集的數據表信息及滑動窗；所述數據表信息包括：各分區的編號以及各分區對應的月份；所述滑動窗的長度代表包括當前采集月份在內的月份的個數；

根據所述滑動窗及當前采集月份確定有數據的月份及無數據的月份；所述有數據的月份為所述滑動窗之內的月份；所述無數據的月份為所述滑動窗之外的月份；

根據各采集作業的編號、各所述分區的編號以及各所述分區對應的月份生成采集參數表；所述采集作業為對數據表中的各分區的數據進行采集的操作；

根據所述采集參數表對各所述分區執行對應編號的采集作業。