[發明專利]一種數據采集校驗方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010578464.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111737528A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 李翔
• 申請（專利權）人: OPPO（重慶）智能科技有限公司
• 主分類號: G06F16/90
• 分類號: G06F16/90
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 任哲夫

1.一種數據采集校驗方法，其特征在于，所述方法包括：

根據預設的接口配置規則配置待接入數據的接入信息，所述接口配置規則包含所述待接入數據與所述接入信息的對應關系；

根據所述接入信息生成數據采集隊列中的多個待采集數據項；

分別校驗所述多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據。

2.根據權利要求1所述的數據采集校驗方法，其特征在于，所述根據預設的接口配置規則配置待接入數據的接入信息的步驟之前包括：

分別根據預設的數據調度信息訪問各數據信息供應商對應的數據接入地址，所述數據調度信息包含對各所述數據信息供應商進行訪問的時間；

分別讀取各所述數據接入地址內的供應數據信息，得到各所述數據信息供應商提供的供應數據；

將各所述供應數據整合為所述待接入數據。

3.根據權利要求1所述的數據采集校驗方法，其特征在于，所述接入信息包括：數據接口信息及校驗方式信息，則所述根據預設的接口配置規則配置待接入數據的接入信息的步驟包括：

獲取所述待接入數據的數據接入地址，及分析所述待接入數據的數據類型；

利用預設的所述接口配置規則配置所述數據接入地址對應的所述數據接口信息；

利用所述接口配置規則配置所述數據類型對應的所述校驗方式信息；

將所述數據接口信息及所述校驗方式信息確定為所述待接入數據對應的接入信息。

4.根據權利要求3所述的數據采集校驗方法，其特征在于，所述根據所述接入信息生成數據采集隊列中的多個待采集數據項的步驟包括：

分別提取所述接入信息中的所述數據接口信息及所述校驗方式信息，所述數據接口信息包含所述待接入數據與數據接入地址的對應關系；

根據所述數據接口信息生成所述待接入數據對應的數據接口列表，所述數據接口列表包含所述待接入數據對應的所述數據接入地址；

將所述數據接口列表中所述數據接入地址與所述校驗方式信息進行綁定，得到所述待接入數據對應的所述多個待采集數據項；

將所述多個待采集數據項下發至所述數據采集隊列。

5.根據權利要求1所述的數據采集校驗方法，其特征在于，所述分別校驗所述多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據的步驟包括：

分別根據所述數據采集隊列中的所述多個待采集數據項下載對應的采集數據文件；

分別提取多個待采集數據項中的校驗方式信息；

分別利用所述校驗方式信息對各所述采集數據文件進行校驗，得到校驗后的多個目標采集數據。

6.根據權利要求5所述的數據采集校驗方法，其特征在于，所述分別利用所述校驗方式信息對各所述數據文件進行校驗，得到校驗后的多個目標采集數據的步驟包括：

解析所述采集數據文件，得到采集數據集合；

根據校驗拆分信息對所述采集數據集合進行拆分，得到多條采集數據，其中，所述校驗方式信息包括所述校驗拆分信息及校驗信息；

分別利用所述校驗信息對多條所述采集數據進行校驗，得到校驗后的所述多個目標采集數據。

7.根據權利要求1所述的數據采集校驗方法，其特征在于，所述分別校驗所述多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據的步驟之后包括：

分別分析所述多個目標采集數據對應的主題類型；

根據所述主題類型對所述多個目標采集數據進行去重；

將去重后的所述多個目標采集數據分別下發至目標數據隊列，以提供數據服務。

8.一種數據采集校驗裝置，其特征在于，所述裝置包括：

第一模塊，用于根據預設的接口配置規則配置待接入數據的接入信息，所述接口配置規則包含所述待接入數據與所述接入信息的對應關系；

第二模塊，用于根據所述接入信息生成數據采集隊列中的多個待采集數據項；

第三模塊，用于分別校驗所述多個待采集數據項對應的采集數據文件，得到校驗后的多個目標采集數據。