[發明專利]一種數據采集的方法及終端設備

在審

• 申請號: 202011628839.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112667723A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 陳家明
• 申請（專利權）人: 平安證券股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06Q40/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 張全文

1.一種數據采集的方法，其特征在于，包括：

為用于采集目標數據的接口配置中間件；

調用所述中間件從目標數據庫獲取原始數據，并通過所述中間件對所述原始數據進行格式轉換，生成所述目標數據并導入所述接口；

基于預設的異常檢測模型輸出所述目標數據的異常檢測結果；

若所述異常檢測結果為數據異常，則對所述目標數據執行異常響應操作。

2.根據權利要求1所述的方法，其特征在于，所述為用于采集目標數據的接口配置中間件，包括：

獲取所述目標數據關聯的所述目標數據庫的數據庫信息，并基于所述數據庫信息確定所述目標數據庫的數據庫語言；

基于預設的數據采集任務，確定所述目標數據包含的數據項，并確定各個數據項對應的檢索關鍵詞；

以所述數據庫語言構建關于各個檢索關鍵詞的數據采集語段；

對所有所述數據采集語段進行封裝，生成所述接口關聯的所述中間件。

3.根據權利要求1所述的方法，其特征在于，在所述基于預設的異常檢測模型輸出所述目標數據的異常檢測結果之前，還包括：

獲取關于所述異常檢測模型的異常系數轉換算法；

解析所述目標數據包含的數據項，并從所述目標數據庫中獲取各個所述數據項的有效取值范圍；

基于歷史異常數據在各個數據項的實際取值以及所述有效取值范圍，生成關于所述目標數據的風險數據提取語段；

基于所述異常系數轉換算法以及所述風險數據提取語段，生成所述異常檢測模型，以通過所述風險數據提取語段從所述目標數據中提取風險數據，并通過所述異常系數轉換算法計算各個風險數據的異常系數，并基于所述異常系數得到所述異常檢測結果；

將所述異常檢測模型上傳至區塊鏈系統。

4.根據權利要求3所述的方法，其特征在于，所述獲取關于所述異常檢測模型的異常系數轉換算法，包括：

獲取各個已識別的所述歷史異常數據在各個數據項的所述實際取值；

根據所有所述實際取值計算各個所述數據項對應的均方差，并基于各個所述均方差確定各個數據項對應的異常轉換權重；

基于所有所述實際取值的均值以及所述異常轉換權重，生成所述異常系數轉換算法。

5.根據權利要求3所述的方法，其特征在于，所述基于歷史異常數據在各個數據項的實際取值以及所述有效取值范圍，生成關于所述目標數據的風險數據提取語段，包括：

根據所有所述實際取值，確定所述歷史異常數據的風險參數范圍；

若所述風險參數范圍與所述有效參數范圍不一致，則識別所述數據項為風險項；

基于所有所述歷史異常數據，確定各個所述風險項之間的共現關系，并基于所述共現關系各個所述風險項之間的選取邏輯關系；

基于所有所述風險項的所述選取邏輯關系，得到所述風險數據提取語段。

6.根據權利要求1-5任一項所述的方法，其特征在于，在所述調用所述中間件從目標數據庫獲取原始數據，并通過所述中間件對所述原始數據進行格式轉換，生成所述目標數據并導入所述接口之后，還包括：

通過本地數據格式對應的校驗算法識別所述目標數據的誤碼率；

若所述目標數據的誤碼率大于預設的正常誤碼閾值，則輸出所述中間件的模塊異常信息，以對所述中間件進行修復。

7.根據權利要求1-5任一項所述的方法，其特征在于，還包括：

若接收到所述目標數據庫的變更指令，則獲取所述目標數據庫的數據變更參數；

基于所述數據變更參數調整所述中間件，以通過調整后的所述中間件從調整后的所述目標數據庫獲取所述原始數據。