[發明專利]基于接口的數據采集方法、裝置、設備及存儲介質

在審

• 申請號: 202110386300.8
• 申請日: 2021-04-12
• 公開（公告）號: CN113051329A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 郭釗銘
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種基于接口的數據采集方法，其特征在于，所述基于接口的數據采集方法包括：

檢測當前是否滿足數據采集作業的觸發條件；

若滿足數據采集作業的觸發條件，則讀取所述觸發條件對應的數據采集作業，其中，所述數據采集作業包括數據采集作業參數、源數據庫接口參數、目的數據庫參數；

根據所述數據采集作業參數，生成數據采集接口，并通過所述源數據庫接口參數，建立所述數據采集接口與預置源數據庫之間的數據連接；

接收所述數據采集接口從所述源數據庫采集的目標數據，并對所述目標數據進行結構化處理，得到結構化目標數據；

根據預置采集數據存儲規則和所述目的數據庫參數，生成所述結構化目標數據對應的批量數據庫操作語句并執行，以將所述結構化目標數據存儲至對應目的數據庫。

2.根據權利要求1所述的基于接口的數據采集方法，其特征在于，所述檢測當前是否滿足數據采集作業的觸發條件包括：

判斷當前數據采集作業是否包含令牌認證任務；

若包含令牌認證任務，則調用預置令牌生成機制，生成所述數據采集作業的令牌器；

所述根據所述數據采集作業參數，生成數據采集接口包括：

根據所述數據采集作業的令牌器，生成帶令牌的數據采集接口。

3.根據權利要求1所述的基于接口的數據采集方法，其特征在于，所述檢測當前是否滿足數據采集作業的觸發條件包括：

判斷所述數據采集作業是否采用增量采集方式；

若采用增量采集方式，則讀取上一輪數據采集作業對應的數據采集日志文件，并判斷所述數據采集日志文件中是否存在采集斷點記錄；

若存在采集斷點記錄，則提取所述采集斷點記錄中的斷點所在頁碼；

所述根據所述數據采集作業參數，生成數據采集接口包括：

根據所述斷點所在頁碼，生成從所述斷點所在頁碼開始的增量采集的數據采集接口。

4.根據權利要求1所述的基于接口的數據采集方法，其特征在于，所述接收所述數據采集接口從所述源數據庫采集的目標數據，并對所述目標數據進行結構化處理，得到結構化目標數據包括：

接收所述數據采集接口從所述源數據庫采集的目標數據，并采用二分法計算所述目標數據中各字段的字段長度；

分別判斷各所述字段長度是否超過預置閾值；

若超過預置閾值，則將所述目標數據保存到本地文件中，并以預置段落數分段讀取所述本地文件中的數據，得到多段分段數據；

依次解析各所述分段數據，得到結構化目標數據。

5.根據權利要求1所述的基于接口的數據采集方法，其特征在于，所述根據預置采集數據存儲規則和所述目的數據庫參數，生成所述結構化目標數據對應的批量數據庫操作語句并執行包括：

判斷所述數據采集作業是否包括內置字段生成規則；

若包括內置字段生成規則，則根據所述內置字段生成規則，生成第一數據庫操作語句，其中，所述第一數據庫操作語句用于將內置字段插入目的數據庫；

根據所述源數據庫與所述目的數據庫的預置字段對應關系，生成第二數據庫操作語句，其中，所述第二數據庫操作語句用于將源數據庫對應字段的數據插入目的數據庫；

根據所述目的數據庫的主鍵信息，判斷所述結構化目標數據是否存在于所述目的數據庫中；

若所述結構化目標數據存在于所述目的數據庫中，則生成第三數據庫操作語句，否則生成第四數據庫操作語句，其中，所述第三數據庫操作語句用于將所述結構化目標數據插入所述目的數據庫，所述第四數據庫操作語句用于更新所述目的數據庫中與所述主鍵信息對應的數據；

根據所述目的數據庫的數據庫類型以及所述第一數據庫操作語句、所述第二數據庫操作語句、所述第三數據庫操作語句、所述第四數據庫操作語句，生成批量數據庫操作語句并執行。