[發明專利]基于多元復雜數據環境的數據檢查方法

在審

• 申請號: 202110831880.7
• 申請日: 2021-07-22
• 公開（公告）號: CN113590599A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 段紅兵;王震;王勇;黃磊;王蘋;周禮;鐘明坤
• 申請（專利權）人: 創意信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q50/26
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 郭肖凌

1.基于多元復雜數據環境的數據檢查方法，其特征在于，包括以下步驟：

步驟1：使用自動化數據采集系統進行數據采集，實現數據采集業務流程的自動化；

步驟2：構建智慧城市治理數據源庫，對智慧城市治理的數據源進行分類管理；

步驟3：數據檢查基本規則，對采集數據進行初步篩選；

步驟4：數據特征選擇，使用分支限界搜索法選擇數據特征；

步驟5：通過數據對比對采集的數據進行篩查入庫。

2.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述軟件機器人包括模擬系統登錄模塊、連接系統接口API模塊、讀寫數據庫模塊、讀取excel文件模塊和規則定制操作模塊；以完成從復雜的數據環境采集數據，兼容更多的數據采集場景。

3.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述數據源包括生態環境、經濟運行、城市安全、社會穩定和營商環境這5個方面的官方數據，軟件機器人在進行數據采集時，通過掃描數據源，獲取相關領域的數據，在數據源有新增、更改和廢氣時，及時更新數據庫。

4.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述數據檢查基本規則包括空值檢查、枚舉值檢查、模式檢查、唯一性檢查、正確性檢查和普及性檢查，對采集數據進行初步篩選，縮小后續進行數據對比的數據量。

5.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述步驟4包括以下子步驟：

步驟401：對根據前期收集的各方面樣本數據設置分支限界，使用分支限界搜索法對樣本數據進行全面掃描，剪除不符合限界的特征；

步驟402：使用保留下的數據特征對樣本數據進行特征匹配度，確認匹配度平均值是否達到閾值；若達到閾值，則保留數據特征做為后續數據對比的依據；否則設置新的分支限界，繼續對剩余數據特征進行分支限界搜索，直到匹配度平均值達到閾值。

6.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述數據對比包括特征對比或歷史對比，以及同時進行特征對比和歷史對比；

特征對比：依據前面篩選出的數據特征，對采集的數據進行數據特征比對，計算特征匹配度，保留特征匹配度在閾值之上的數據；

歷史對比：提取最近3個統計周期的數據，計算各數據項的變化幅度，對變化幅度超過閾值的數據進行標記，由人工確認數據的合理性。

7.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，篩查入庫通過率低于閾值時，以現有數據為樣本，使用分支限界搜索重新選擇數據特征。

8.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述自動化數據采集系統為軟件機器人。

9.根據權利要求1所述的基于多元復雜數據環境的數據檢查方法，其特征在于，所述自動化數據采集系統為可配置數據采集模板。