[發明專利]一種用戶行為數據質量的實時檢測方法及存儲介質

在審

• 申請號: 202010892701.6
• 申請日: 2020-08-31
• 公開（公告）號: CN112035456A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 江元源
• 申請（專利權）人: 重慶長安汽車股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/906;G06F16/27;G06F16/23
• 代理公司: 重慶華科專利事務所 50123
• 代理人: 譚小琴

1.一種用戶行為數據質量的實時檢測方法，其特征在于，包括如下步驟：

從日志數據提取用戶行為數據；

通過流式處理所述用戶行為數據，以實現實時監測用戶行為數據并得到實時數據流；

根據數據庫設置的數據質量評估規則與訓練數據異常深層模型，依次對實時數據流的精確性、邏輯一致性以及數據異常深層進行檢驗，其中，

對所述實時數據流的精確性進行檢驗時，若實時數據流的精確性未能通過所述數據質量評估規則的檢驗，則得到數據異常報告，反之，則繼續對實時數據流的邏輯一致性進行評估檢驗；

若實時數據流的邏輯一致性未能通過數據質量評估規則的檢驗，則得到數據異常報告，反之，則繼續對實時數據流的數據異常深層進行評估檢驗；

若實時數據流的數據異常深層未能通過訓練數據異常深層模型的檢驗，則得到數據異常報告，反之，則將實時數據流將上傳至數據庫進行保存。

2.根據權利要求1所述的用戶行為數據質量的實時檢測方法，其特征在于，對實時數據流的精確性進行檢驗時的約束條件包括主鍵非空約束、數據類型約束、數據格式約束、數據精度約束以及值域范圍約束。

3.根據權利要求2所述的用戶行為數據質量的實時檢測方法，其特征在于，所述邏輯一致性的數據邏輯依賴關系包括離散型數據與連續型數據，其中，所述離散型數據通過建立規則，以正則表達式對數據的頻率和模式進行評估，所述連續型數據則通過MAD算法，以反映出每個數據點與均值之間的距離。

4.根據權利要求1至3任一所述的用戶行為數據質量的實時檢測方法，其特征在于，所述訓練數據異常深層是通過DBSCAN聚類算法與分類算法對異常的數據進行劃分，以檢測出異常數據的類別。

5.一種存儲介質，其特征在于，所述存儲介質存儲有一個或者多個程序，所述一個或者多個程序被一個或者多個處理器執行時，能實現如權利要求1～4中任一項所述的用戶行為數據質量的實時檢測方法的步驟。