[發明專利]一種數據抽取方法、裝置及相關設備

有效

• 申請號: 202010430470.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111597245B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 孫軍;易鋒
• 申請（專利權）人: 政采云有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/248
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張春輝

本申請公開了一種數據抽取方法，包括獲取業務數據；根據所述業務數據進行數據加載，獲得源數據；根據所述業務數據配置抽取執行器；利用所述抽取執行器對所述源數據進行數據抽取，獲得目標數據；該數據抽取方法可以根據業務類型的不同配置不同類型的抽取執行器，用以實現多種類型的數據抽取業務，有效地提高了數據抽取設備的通用性，簡化了設備開發流程，降低了設備開發難度。本申請還公開了一種數據抽取裝置、設備以及計算機可讀存儲介質，均具有上述有益效果。

技術領域

本申請涉及數據處理技術領域，特別涉及一種數據抽取方法，還涉及一種數據抽取裝置、設備以及計算機可讀存儲介質。

背景技術

數據抽取是從數據源中抽取數據的過程，現有的抽取設備，從數據的加載，到結果的輸出，直至完成整個業務線的需求，都是基于本身的業務需求開發，即針對不同類型的業務需要開發不同的抽取設備，實現過程較為繁瑣，無法滿足隨機抽取的通用性、標準化、可擴展的需求，給技術人員帶來了較大的開發難度。

因此，如何有效提高數據抽取設備的通用性，簡化設備開發流程是本領域技術人員亟待解決的問題。

發明內容

本申請的目的是提供一種數據抽取方法，該數據抽取方法可以有效提高數據抽取設備的通用性，簡化設備開發流程；本申請的另一目的是提供一種數據抽取裝置、設備以及計算機可讀存儲介質，也具有上述有益效果。

為解決上述技術問題，本申請提供了一種數據抽取方法，所述數據抽取方法包括：

獲取業務數據；

根據所述業務數據進行數據加載，獲得源數據；

根據所述業務數據配置抽取執行器；

利用所述抽取執行器對所述源數據進行數據抽取，獲得目標數據。

優選的，所述根據所述業務數據配置抽取執行器，包括：

根據所述業務數據確定業務規則；

根據所述業務規則配置抽取算法，抽取因子干擾器以及鏈路過濾器。

優選的，所述利用所述抽取執行器對所述源數據進行數據抽取，獲得目標數據，包括：

利用所述鏈路過濾器對所述源數據進行過濾，獲得過濾后的源數據；

根據所述業務數據對所述過濾后的源數據進行概率計算，獲得各初始抽取概率；

利用所述抽取因子干擾器對各所述初始抽取概率進行概率浮動，獲得各抽取概率；

利用所述抽取算法和各所述抽取概率對所述過濾后的源數據進行數據抽取，獲得所述目標數據。

優選的，所述數據抽取方法還包括：

發送確認請求至所述目標數據對應的目標對象；

判斷是否接收到所述目標對象反饋的確認信息；

若否，則返回所述利用所述抽取執行器對所述源數據進行數據抽取的步驟，直至獲得新的目標對象。

優選的，所述數據抽取方法還包括：

將所述目標數據發送至顯示設備進行可視化展示。

為解決上述技術問題，本申請還提供了一種數據抽取裝置，所述數據抽取裝置包括：

獲取模塊，用于獲取業務數據；

加載模塊，用于根據所述業務數據進行數據加載，獲得源數據；

配置模塊，用于根據所述業務數據配置抽取執行器；

抽取模塊，用于利用所述抽取執行器對所述源數據進行數據抽取，獲得目標數據。