[發明專利]一種基于時間調度的數據采集方法

有效

• 申請號: 202011054429.0
• 申請日: 2020-09-29
• 公開（公告）號: CN112131280B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 許宜斌;張寶光;葉勇華
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F9/48;G06F9/50
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

本發明涉及一種基于時間調度的數據采集方法，包括：確定數據采集任務，任務包括：源數據存儲地址、本地數據存儲地址和子任務序列；子任務序列包括的至少一個子任務具有第一采集時間和第二采集時間，第一采集時間為子任務的起始時間，第二采集時間為子任務的結束時間。根據源數據存儲地址確定源數據，其中源數據包括時間信息；針對每個子任務進行數據采集，采集源數據庫中時間信息大于或等于第一采集時間，且小于或等于第二采集時間的數據，得到至少一個采集數據；將采集得到的至少一個采集數據存儲至本地數據存儲地址。使得僅需采集的源數據具有時間信息，都可以靈活地根據源數據的時間信息，配置并調度不同的子任務，從而適配不同的采集需求。

技術領域

本發明涉及數據采集領域，尤其是涉及一種互聯網技術(internet technology，IT)管理系統建設應用中的通過時間控制技術調度數據采集的方法。

背景技術

隨著社會的發展，對IT管理系統進行應用分析的復雜度要求不斷提高，對所分析的數據的數據質量要求也再不斷加強。因此，對可能采集到的數據而言，其完整性上的保障要求也隨之增高。

現有數據采集的方式一般僅能滿足正常情況下數據分析的采集要求，其數據采集方式較為單一，導致面對突發的異常情況處理能力不足。例如數據丟失、采集任務因意外停止采集，或者因數據庫的一些原因導致數據采集不全等等。而當發生一些異常狀況時，往往需要通過人工的方式進行相應的補采。從而使得數據的及時性得不到保障，嚴重影響后續對數據的分析及應用。

同時，傳統的數據采集方案定制化程度較高，基本為一個應用需求對應設計一套采集程序，采集方式與采集時間在程序設計上都是采用固定不變的方式。并且對于同一個業務系統中的數據采集程序，也不適合進行復用。可見，目前的方案無法適應業務系統不斷發展導致的業務分析不斷變化的需求，當業務發生變化后，往往需要耗費較多人力和時間對原采集程序進行改造。顯然，傳統的數據采集程序可移植性較差，不容易形成產品化。若是出現新項目，還需重新針對新項目進行采集程序開發，導致在廣泛應用推廣上具有很大困難。

發明內容

本發明通過對采集任務中子任務的執行時間進行按需配置，使得當源數據具有時間信息，便可以依據源數據的時間信息靈活配置并調度不同的子任務的任務執行時間區間，從而適配不同的數據采集需求。

為實現上述目的，本發明第一方面提供了一種基于時間調度的數據采集方法，方法包括：確定數據采集任務，數據采集任務包括：源數據存儲地址、本地數據存儲地址和子任務序列；子任務序列包括按照順序排列的至少一個子任務，每個子任務包括第一采集時間和第二采集時間，其中第一采集時間為該子任務的起始時間，第二采集時間為該子任務的結束時間；根據源數據存儲地址，確定至少一個源數據，其中源數據包括時間信息；針對每個子任務進行數據采集，采集源數據庫中時間信息大于或等于第一采集時間，且小于或等于第二采集時間的數據，得到至少一個采集數據；將采集得到的至少一個采集數據存儲至本地數據存儲地址。

優選地，子任務還包括任務類型，任務類型為第一任務類型、第二任務類型或第三任務類型；當任務類型為第二任務類型時，第一采集時間為無窮遠；當任務類型為第三任務類型時，第二采集時間為無窮遠。

優選地，當任務類型為第三任務類型時，第二采集時間為當前時間。

優選地，方法還包括：針對每個子任務，根據該子任務的第一采集時間和第二采集時間，確定采集時間段；子任務序列中每個子任務所對應的采集時間段無重疊部分。

優選地，第一采集時間為預先設置的；或根據本地數據存儲地址，確定至少一個本地數據，其中本地數據包括時間信息；根據至少一個本地數據中的時間信息，確定第一采集時間。

優選地，第二采集時間為預先設置的；或根據至少一個源數據中的時間信息，確定第二采集時間。