[發明專利]數據采集方法以及裝置

在審

• 申請號: 202010843247.5
• 申請日: 2020-08-20
• 公開（公告）號: CN111782901A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 于晨暉
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/901;G06Q10/06;G06Q10/10
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 吳肖肖

1.一種數據采集方法，包括：

在監測到達預設時間節點的情況下，根據所述預設時間節點對應的采集日期，在采集配置列表中篩選出至少一條采集配置項；

通過基于所述采集配置項生成的采集任務，對所述采集配置項對應的采集項的業務數據進行采集；

在采集成功的情況下，根據所述采集項對應的所述采集頻度，確定針對所述采集項的下一采集日期；

基于所述下一采集日期，對所述采集項對應的采集配置項中的所述采集日期進行更新。

2.根據權利要求1所述的數據采集方法，還包括：

接收針對目標采集項的采集申請，其中，所述采集申請攜帶所述采集申請的申請時間、所述目標采集項的對應的目標采集頻度以及目標采集時效；

基于所述申請時間、所述采集頻度以及所述目標采集時效，確定針對所述目標采集項的第一采集日期；

根據所述第一采集日期、所述目標采集頻度以及所述目標采集時效，生成所述目標采集項對應的目標采集配置項；

將所述目標采集配置項添加至所述采集配置列表。

3.根據權利要求2所述的數據采集方法，所述基于所述申請時間、所述采集頻度以及所述目標采集時效，確定針對所述目標采集項的第一采集日期，包括：

基于所述采集申請的申請時間、所述目標采集頻度以及所述目標采集時效，確定針對所述目標采集項的第一目標采集業務時間；

根據所述第一目標采集業務時間以及所述目標采集時效，確定所述第一采集日期。

4.根據權利要求2所述的數據采集方法，所述根據所述第一目標采集業務時間以及所述目標采集時效，確定所述第一采集日期步驟執行之前，還包括：

調用所述目標采集項對應的目標采集任務，對所述目標采集項的目標業務數據進行采集，其中，所述目標業務數據的第二目標采集業務時間基于所述采集申請的申請時間、所述目標采集頻度以及所述目標采集時效進行確定。

5.根據權利要求1所述的數據采集方法，所述對所述采集配置項對應的采集項的業務數據進行采集步驟執行之前，還包括：

將生成的所述采集任務添加至采集任務列表，并將所述采集任務的任務狀態置為初始狀態；

相應的，所述對所述采集配置項對應的采集項的業務數據進行采集，包括：

按照預設時間間隔，在所述采集任務列表中選取預設數量的采集任務，其中，選取的采集任務的任務狀態為初始狀態；

將所述選取的采集任務的任務狀態從初始狀態更新為處理狀態；

通過執行所述選取的采集任務，對所述采集配置項對應的采集項的業務數據進行采集。

6.根據權利要求5所述的數據采集方法，所述通過執行所述選取的采集任務，對所述采集配置項對應的采集項的業務數據進行采集，包括：

根據所述選取的采集任務對應的采集模式，確定所述采集模式對應的采集引擎；

通過調用所述采集引擎，對所述采集配置項對應的采集項的業務數據進行采集。

7.根據權利要求5所述的數據采集方法，所述對所述采集配置項對應的采集項的業務數據進行采集步驟執行之后，還包括：

按照第二預設時間間隔，根據所述采集任務的采集時長，在所述采集任務列表中檢測所述采集時長大于預設采集時長的目標采集任務。

8.根據權利要求7所述的數據采集方法，所述在所述采集任務列表中檢測所述采集時長大于預設采集時長的目標采集任務步驟執行之后，還包括：

在檢測到所述目標采集任務的情況下，將所述目標采集任務的任務狀態從所述處理狀態更新為初始狀態，并將所述目標采集任務的執行次數加一；

基于所述采集時長以及所述執行次數，生成針對目標采集任務的異常信息；

根據所述異常信息，發送針對所述目標采集任務的異常提醒。