[發明專利]一種數據采集校驗方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010578464.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111737528A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 李翔
• 申請（專利權）人: OPPO（重慶）智能科技有限公司
• 主分類號: G06F16/90
• 分類號: G06F16/90
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 任哲夫

本發明公開了一種數據采集校驗方法，包括：根據預設的接口配置規則配置待接入數據的接入信息，接口配置規則包含待接入數據與接入信息的對應關系；根據接入信息生成數據采集隊列中的多個待采集數據項；分別利用校驗多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據。通過實施本方案，通過接口配置化的方式對所有待接入的數據配置接入信息，降低待接入數據的接入難度，依據接入信息生成待接入數據對應的多個待采集數據項，實現對所有的待接入數據的整合，此外，分別利用接入信息對待采集數據項進行校驗，得到校驗后的多個目標采集數據，實現對接入數據的分布式管理，提升對接入任務的管理效率，保證接入數據的可靠性。

技術領域

本發明涉及數據采集技術領域，尤其涉及一種數據采集校驗方法、裝置、電子設備及存儲介質。

背景技術

隨著大數據、云計算等互聯網技術的發展，可通過終端的搜索業務獲取相關數據信息，實現的數據共享或獲取，這給用戶、企業等帶來極大的便利性。由于搜索業務對內容數據的依賴性極大，所以首先需要接入大量的CP(Content Provider)服務內容數據進行處理，以供后續的搜索業務進行搜索后呈現結果。

相關技術的CP數據接入的方式是通過定制化服務數據的接入形式，即未每一個CP數據提供一種接口，都是單服務的形式進行接入，數據接口無法實現接入多個內容數據，這使得需要對每個接口進行定向開發，提高接口開發難度，導致數據接入的難度高及接入任務的管理效率低，影響數據接入的可靠性。

發明內容

本申請提供了一種數據采集校驗方法、裝置、電子設備及存儲介質，可以解決數據接口無法接入多個內容數據，導致數據接入的難度高及接入任務的管理效率低的技術問題。

本發明第一方面提供一種數據采集校驗方法，所述方法包括：

根據預設的接口配置規則配置待接入數據的接入信息，所述接口配置規則包含所述待接入數據與所述接入信息的對應關系；

根據所述接入信息生成數據采集隊列中的多個待采集數據項；

分別校驗所述多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據。

可選的，所述根據預設的接口配置規則配置待接入數據的接入信息的步驟之前包括：

分別根據預設的數據調度信息訪問各數據信息供應商對應的數據接入地址，所述數據調度信息包含對各所述數據信息供應商進行訪問的時間；

分別讀取各所述數據接入地址內的供應數據信息，得到各所述數據信息供應商提供的供應數據；

將各所述供應數據整合為所述待接入數據。

可選的，所述接入信息包括：數據接口信息及校驗方式信息，則所述根據預設的接口配置規則配置待接入數據的接入信息的步驟包括：

獲取所述待接入數據的數據接入地址，及分析所述待接入數據的數據類型；

利用預設的所述接口配置規則配置所述數據接入地址對應的所述數據接口信息；

利用所述接口配置規則配置所述數據類型對應的所述校驗方式信息；

將所述數據接口信息及所述校驗方式信息確定為所述待接入數據對應的接入信息。

可選的，所述根據所述接入信息生成數據采集隊列中的多個待采集數據項的步驟包括：

分別提取所述接入信息中的所述數據接口信息及所述校驗方式信息，所述數據接口信息包含所述待接入數據與數據接入地址的對應關系；

根據所述數據接口信息生成所述待接入數據對應的數據接口列表，所述數據接口列表包含所述待接入數據對應的所述數據接入地址；