[發明專利]一種基于時間調度的數據采集方法

有效

• 申請號: 202011054429.0
• 申請日: 2020-09-29
• 公開（公告）號: CN112131280B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 許宜斌;張寶光;葉勇華
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F9/48;G06F9/50
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

1.一種基于時間調度的數據采集方法，其特征在于，所述方法包括：

確定數據采集任務，所述數據采集任務包括：源數據存儲地址、本地數據存儲地址和子任務序列；

所述子任務序列包括按照順序排列的至少一個子任務，每個所述子任務包括第一采集時間和第二采集時間，其中第一采集時間為該所述子任務的起始時間，所述第二采集時間為該所述子任務的結束時間；

根據所述源數據存儲地址，確定至少一個源數據，其中所述源數據包括時間信息；

針對每個所述子任務進行數據采集，采集所述源數據庫中時間信息大于或等于所述第一采集時間，且小于或等于所述第二采集時間的數據，得到至少一個采集數據；

將采集得到的所述至少一個采集數據存儲至所述本地數據存儲地址。

2.根據權利要求1所述的方法，其特征在于，所述子任務還包括任務類型，所述任務類型為第一任務類型、第二任務類型或第三任務類型；

當所述任務類型為第二任務類型時，所述第一采集時間為無窮遠；

當所述任務類型為第三任務類型時，所述第二采集時間為無窮遠。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

針對每個子任務，根據該所述子任務的所述第一采集時間和所述第二采集時間，確定采集時間段；

所述子任務序列中每個所述子任務所對應的所述采集時間段無重疊部分。

4.根據權利要求1-3任意一項所述的方法，其特征在于，所述數據采集任務還包括回退時間；

根據所述回退時間對第一子任務的所述第二采集時間進行調整，將所述第二采集時間調整為第三采集時間，其中，所述第一子任務為所述數據采集任務的所述子任務序列中所述第二采集時間最大的子任務；

針對所述第一子任務，所述對所述源數據庫中時間信息大于或等于所述第一采集時間，且小于或等于所述第二采集時間的數據進行采集，得到至少一個采集數據，包括：

對所述源數據庫中時間信息大于或等于所述第一采集時間，且小于或等于所述第三采集時間的數據進行采集，得到至少一個采集數據。

5.根據權利要求1-3任意一項所述的方法，其特征在于，所述數據采集任務還包括回退時間；

根據所述回退時間對第二子任務的所述第一采集時間進行調整，將所述第一采集時間調整為第四采集時間，其中，所述第二子任務為所述數據采集任務的所述子任務序列中所述第一采集時間最小的子任務；

將存儲在所述本地數據存儲地址中時間信息大于或等于所述第四采集時間，且小于或等于所述第一采集時間的本地數據進行刪除；

針對所述第二子任務，所述對所述源數據庫中時間信息大于或等于所述第一采集時間，且小于或等于所述第二采集時間的數據進行采集，得到至少一個采集數據，包括：

對所述源數據庫中時間信息大于或等于所述第四采集時間，且小于或等于所述第二采集時間的數據進行采集，得到至少一個采集數據。

6.根據權利要求1-3任意一項所述的方法，其特征在于，在對所述源數據庫進行數據采集之前，所述方法還包括：

檢測存儲在所述本地數據存儲地址中的本地數據是否完整；

若所述本地數據不完整，則刪除不完整的所述本地數據并根據剩余所述本地數據的時間信息確定第五采集時間；

針對第二子任務，所述對所述源數據庫中時間信息大于或等于所述第一采集時間，且小于或等于所述第二采集時間的數據進行采集，得到至少一個采集數據，包括：

對所述源數據庫中時間信息大于或等于所述第五采集時間，且小于或等于所述第二采集時間的數據進行采集，得到至少一個采集數據，其中，所述第二子任務為所述數據采集任務的所述子任務序列中所述第一采集時間最小的子任務。