[發(fā)明專利]一種數(shù)據(jù)采集方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110335949.7
• 申請日: 2021-03-29
• 公開（公告）號: CN113010240A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 韓敬諾
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F9/448
• 分類號: G06F9/448;G06F9/445
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，數(shù)據(jù)采集方法包括：獲取數(shù)據(jù)采集對應(yīng)的指令信息集，所述數(shù)據(jù)采集對應(yīng)的指令信息集包括：被采集業(yè)務(wù)系統(tǒng)的標(biāo)識，以及采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息；基于被采集業(yè)務(wù)系統(tǒng)的標(biāo)識，以及采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息，利用預(yù)設(shè)接口，獲取被采集業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)。本發(fā)明實(shí)施例，不需要對被采集業(yè)務(wù)系統(tǒng)的輸入/輸出接口分析，就能夠基于包括采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息的指令信息集，完成對被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的采集，縮短了數(shù)據(jù)采集的周期，提高了數(shù)據(jù)采集的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)采集方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

大數(shù)據(jù)平臺通過采集不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)發(fā)揮大數(shù)據(jù)的數(shù)據(jù)價(jià)值，工業(yè)大數(shù)據(jù)應(yīng)用中，各業(yè)務(wù)系統(tǒng)分散在不同的職能部門，業(yè)務(wù)系統(tǒng)對應(yīng)的系統(tǒng)廠商以及實(shí)現(xiàn)技術(shù)可能不同，進(jìn)而各業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)交互需要一定的技術(shù)手段。相關(guān)技術(shù)中，在各業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)對接上，經(jīng)歷了四個(gè)階段，如圖1所示，第一階段為人工階段，例如政務(wù)系統(tǒng)，需要人工去一個(gè)業(yè)務(wù)系統(tǒng)調(diào)取數(shù)據(jù)或開具數(shù)據(jù)證明，進(jìn)而再去另一個(gè)業(yè)務(wù)系統(tǒng)辦理業(yè)務(wù)，在該階段數(shù)據(jù)采集效率較低。第二階段為數(shù)據(jù)庫開放階段，該階段中一個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫可以調(diào)用另一個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)，但是涉及到數(shù)據(jù)安全問題。第三階段為目前常見的API(Application Programming Interface，應(yīng)用程序接口)對接階段，該階段中針對不同的業(yè)務(wù)系統(tǒng)，業(yè)務(wù)對接人員需要不斷交流，對應(yīng)開發(fā)新的API接口，實(shí)施周期長、產(chǎn)生的費(fèi)用也高。第四階段為直接采集階段，一定程度上改善了AP I對接階段存在的缺陷。

現(xiàn)有實(shí)現(xiàn)對不同業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)采集使用的直接采集方法為：前端人員對被采集業(yè)務(wù)系統(tǒng)進(jìn)行輸入/輸出接口分析，得到被采集業(yè)務(wù)系統(tǒng)原有輸入/輸出接口相關(guān)信息，進(jìn)而將被采集業(yè)務(wù)系統(tǒng)原有輸入/輸出接口相關(guān)信息封裝成新的API接口，在接收到對被采集業(yè)務(wù)系統(tǒng)的數(shù)據(jù)采集請求后，直接通過新的API接口采集被采集業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，相當(dāng)于新的API接口代理了數(shù)據(jù)采集請求并實(shí)現(xiàn)數(shù)據(jù)的采集，如圖2所示。現(xiàn)有實(shí)現(xiàn)對不同業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)采集使用直接采集方法的產(chǎn)品，例如燕云Daas產(chǎn)品，其數(shù)據(jù)采集的過程示意圖如圖3所示。

上述對不同業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)采集使用的直接采集方法中，需要前端人員對被采集業(yè)務(wù)系統(tǒng)的輸入/輸出接口分析，在分析的過程中，需要對接口相關(guān)的每個(gè)字段對應(yīng)的業(yè)務(wù)知識進(jìn)行了解，進(jìn)而耗費(fèi)的周期較長，且隨著對網(wǎng)絡(luò)安全的要求越來越高，在遇到字段加解密的情況下，需要耗費(fèi)人力進(jìn)行字段的加解密，接口分析的阻礙較大，數(shù)據(jù)采集困難，導(dǎo)致數(shù)據(jù)采集效率不高。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)采集方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，用以提高數(shù)據(jù)采集的效率。具體技術(shù)方案如下：

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)采集方法，所述方法包括：

獲取數(shù)據(jù)采集對應(yīng)的指令信息集，所述數(shù)據(jù)采集對應(yīng)的指令信息集包括：被采集業(yè)務(wù)系統(tǒng)的標(biāo)識，以及采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息；

基于所述被采集業(yè)務(wù)系統(tǒng)的標(biāo)識，以及采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息，利用預(yù)設(shè)接口，獲取所述被采集業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)；所述預(yù)設(shè)接口為能夠通過該預(yù)設(shè)接口訪問所述被采集業(yè)務(wù)系統(tǒng)的接口。

可選地，所述基于所述被采集業(yè)務(wù)系統(tǒng)的標(biāo)識，以及采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息，利用預(yù)設(shè)接口，獲取所述被采集業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)的步驟，包括：

對所述被采集業(yè)務(wù)系統(tǒng)的標(biāo)識進(jìn)行解析，得到被采集業(yè)務(wù)系統(tǒng)對應(yīng)的瀏覽器驅(qū)動(dòng)；

加載所述瀏覽器驅(qū)動(dòng)，并通過所述瀏覽器驅(qū)動(dòng)對應(yīng)的預(yù)設(shè)接口，將所述采集被采集業(yè)務(wù)系統(tǒng)數(shù)據(jù)的業(yè)務(wù)流程對應(yīng)的指令信息，依次發(fā)送給所述被采集業(yè)務(wù)系統(tǒng)；

通過所述預(yù)設(shè)接口，獲取所述被采集業(yè)務(wù)系統(tǒng)的源數(shù)據(jù)。