[發明專利]基于接口的數據采集方法、裝置、設備及存儲介質

在審

• 申請號: 202110386300.8
• 申請日: 2021-04-12
• 公開（公告）號: CN113051329A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 郭釗銘
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及大數據技術領域，公開了一種基于接口的數據采集方法、裝置、設備及存儲介質。所述方法包括：若當前滿足數據采集作業的觸發條件，則讀取觸發條件對應的數據采集作業，其中，數據采集作業包括數據采集作業參數、源數據庫接口參數、目的數據庫參數；根據數據采集作業參數，生成數據采集接口，并通過源數據庫接口參數，建立與源數據庫之間的數據連接；接收從源數據庫采集的目標數據并進行結構化處理，得到結構化目標數據；根據預置采集數據存儲規則和目的數據庫參數，生成結構化目標數據對應的批量數據庫操作語句并執行，以將結構化目標數據存儲至對應目的數據庫。本發明能靈活地配置數據采集接口，從而進行高效的數據采集。

技術領域

本發明涉及大數據技術領域，尤其涉及一種基于接口的數據采集方法、裝置、設備及存儲介質。

背景技術

隨著大數據的發展，數據即是價值，在做數據分析和數據挖掘時，都需要進行不同目的的數據采集，而數據采集的方式一般是通過接口的形式訪問數據源數據庫，從而獲得源數據庫的數據。

目前基于接口的數據采集方式過于簡單，而日益復雜的業務場景要求數據采集作業需要具備多種功能，如令牌器、斷點續傳、定時觸發、內置字段生成等，如今的數據采集方式不能同時對這些需求進行靈活處理，使得數據采集作業的效率低下，無法滿足業務需求。

發明內容

本發明的主要目的在于解決基于接口的數據采集方式功能單一且靈活性低的技術問題。

本發明第一方面提供了一種基于接口的數據采集方法，包括：

檢測當前是否滿足數據采集作業的觸發條件；

若滿足數據采集作業的觸發條件，則讀取所述觸發條件對應的數據采集作業，其中，所述數據采集作業包括數據采集作業參數、源數據庫接口參數、目的數據庫參數；

根據所述數據采集作業參數，生成數據采集接口，并通過所述源數據庫接口參數，建立所述數據采集接口與預置源數據庫之間的數據連接；

接收所述數據采集接口從所述源數據庫采集的目標數據，并對所述目標數據進行結構化處理，得到結構化目標數據；

根據預置采集數據存儲規則和所述目的數據庫參數，生成所述結構化目標數據對應的批量數據庫操作語句并執行，以將所述結構化目標數據存儲至對應目的數據庫。

可選的，在本發明第一方面的第一種實現方式中，所述檢測當前是否滿足數據采集作業的觸發條件包括：

判斷當前數據采集作業是否包含令牌認證任務；

若包含令牌認證任務，則調用預置令牌生成機制，生成所述數據采集作業的令牌器；

所述根據所述數據采集作業參數，生成數據采集接口包括：

根據所述數據采集作業的令牌器，生成帶令牌的數據采集接口。

可選的，在本發明第一方面的第二種實現方式中，所述檢測當前是否滿足數據采集作業的觸發條件包括：

判斷所述數據采集作業是否采用增量采集方式；

若采用增量采集方式，則讀取上一輪數據采集作業對應的數據采集日志文件，并判斷所述數據采集日志文件中是否存在采集斷點記錄；

若存在采集斷點記錄，則提取所述采集斷點記錄中的斷點所在頁碼；

所述根據所述數據采集作業參數，生成數據采集接口包括：

根據所述斷點所在頁碼，生成從所述斷點所在頁碼開始的增量采集的數據采集接口。

可選的，在本發明第一方面的第三種實現方式中，所述接收所述數據采集接口從所述源數據庫采集的目標數據，并對所述目標數據進行結構化處理，得到結構化目標數據包括：