[發明專利]一種智慧警務數據融合清洗研判裝置

在審

• 申請號: 202110041378.6
• 申請日: 2021-04-28
• 公開（公告）號: CN112965960A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 管連兵
• 申請（專利權）人: 貴州申甌通信電子科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2455;G06F16/2457;G06F16/2458;G06F16/28;G06Q50/26
• 代理公司: 南昌逸辰知識產權代理事務所(普通合伙) 36145
• 代理人: 劉陽陽

1.一種智慧警務數據清洗方法，其特征在于，包括：

從預設的數據庫中獲取需要清洗的警務數據；

對所述警務數據進行分析得到數據特征，根據預設的數據分類模板對所述數據特征進行匹配，得到與所述數據特征匹配的警務數據類型，并將所述警務數據記為與所述警務數據類型對應的目標數據；

將所述目標數據分配至與所述數據類型匹配的處理隊列，不同的警務數據類型對應不同的處理隊列；

從所述處理隊列中取出所述目標數據，并判斷所述目標數據是否為時間序列型數據；

若否，則檢測所述目標數據的缺失數據記錄，依據所述缺失數據記錄補全所述目標數據中的缺失數據，得到補全數據；

對所述補全數據進行錯誤檢測，并依據所述錯誤檢測的結果對所述補全數據進行修正，得到修正數據；

對所述修正數據進行相似重復記錄檢測，并依據檢測結果剔除所述修正數據中的相似重復數據，得到經過清洗過的干凈警務數據；

將所述干凈警務數據依據警務業務需求分配至指定的警務業務系統。

2.根據權利要求1所述的智慧警務數據清洗方法，其特征在于，所述警務數據類型為交通數據類型，所述檢測所述目標數據的缺失數據記錄，依據所述缺失數據記錄補全所述目標數據中的缺失數據，得到補全數據的步驟，包括：

掃描所述交通數據以確定所述目標數據是否存在所述缺失數據；

若是，則將所述交通數據進行分割，得到多個路段數據，并從多個所述路段數據中解析出存在所述缺失數據的路段數據的位置信息；

獲取所述交通數據的歷史數據，依據所述歷史數據分析得到多個具有相似變換規律的規律路段數據，并依據所述位置信息在各個所述規律路段數據中找到與所述缺失數據對應的片段；

計算各個片段的均值，并將所述均值補充至所述交通數據中與所述片段對應的位置，得到所述補全數據。

3.根據權利要求1所述的智慧警務數據清洗方法，其特征在于，所述對所述修正數據進行相似重復記錄檢測的步驟，包括：

從所述修正數據中選擇一個或多個字段創建一個索引；

將所述修正數據中每條記錄按照索引排序，并將排序好的記錄移入計算窗口；

將所述計算窗口內的第一條記錄與所述計算窗口內剩下的N-1條記錄分別進行相似度計算，得到所述第一條記錄與剩下各所述記錄的相似度值，以獲得所述第一條記錄的相似重復數據；

當所述計算窗口中的第一條記錄與所述滑動窗口內剩余N-1條記錄都計算完成后，將所述第一條記錄滑出所述計算窗口，重復計算所述計算窗口內的記錄，直至所述計算窗口內的所有記錄遍歷所述第一記錄的計算過程，得到多個所述相似重復數據。

4.根據權利要求3所述的智慧警務數據清洗方法，其特征在于，所述將所述計算窗口內的第一條記錄與所述計算窗口內剩下的N-1條記錄分別進行相似度計算的步驟，包括：

分別計算所述第一條記錄的字符串與剩下的N-1條記錄的字符串的編輯距離、最長公共子序列長度以及最長公共子串長度；

依據所述編輯距離、最長公共子序列長度以及最長公共子串長度計算得到對應的相似度值；

其中，利用以下公式計算得到所述相似度值：

其中，S為相似度值，A為平衡因子，L為所述最長公共子串長度；K為所述第一條記錄的字符串與另一記錄字符串兩者中較長的字符串長度；S₁＝L₁÷(D+L₁)，D為所述編輯距離，L₁為所述最長公共子序列長度。

5.根據權利要求1所述的智慧警務數據清洗方法，其特征在于，所述判斷所述目標數據是否為時間序列型數據的步驟之后，包括：

當判定所述目標數據為時間序列型數據，則對所述目標數據進行檢測，以確定所述目標數據的錯誤類型；

依據所述目標數據的錯誤類型采用對應的清洗算法對所述目標數據進行清洗，得到經過清洗過的干凈警務數據；

將所述干凈警務數據依據警務業務需求分配至指定的警務業務系統。