[發(fā)明專利]一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010892701.6
• 申請日: 2020-08-31
• 公開（公告）號: CN112035456A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 江元源
• 申請（專利權(quán)）人: 重慶長安汽車股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2455;G06F16/906;G06F16/27;G06F16/23
• 代理公司: 重慶華科專利事務(wù)所 50123
• 代理人: 譚小琴

本發(fā)明提供了一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法及存儲介質(zhì)，涉及數(shù)據(jù)質(zhì)量檢測技術(shù)領(lǐng)域，通過從日志數(shù)據(jù)采集用戶行為數(shù)據(jù)，經(jīng)Spark流式處理所述用戶行為數(shù)據(jù)，實現(xiàn)實時監(jiān)測用戶行為數(shù)據(jù)后，結(jié)合用戶行為數(shù)據(jù)的特點(diǎn)，從數(shù)據(jù)的精確性、邏輯一致性與數(shù)據(jù)異常深層進(jìn)行質(zhì)量檢測評估，不僅能夠展現(xiàn)出不同深度的質(zhì)量評估效果，還能夠挖掘出用戶行為數(shù)據(jù)之間復(fù)雜的質(zhì)量問題，形成了適合用戶行為數(shù)據(jù)的質(zhì)量檢測體系，有利于車企方及時并準(zhǔn)確的發(fā)現(xiàn)數(shù)據(jù)中存在的問題，對于數(shù)據(jù)管理具有重要意義。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)質(zhì)量檢測技術(shù)領(lǐng)域，具體涉及一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法及存儲介質(zhì)。

背景技術(shù)

隨著車聯(lián)網(wǎng)技術(shù)不斷發(fā)展，搭載車聯(lián)網(wǎng)服務(wù)的智能網(wǎng)聯(lián)汽車越來越受到人們的青睞。車主在日常用車過程中，產(chǎn)生了大量的用戶行為數(shù)據(jù)，用戶行為數(shù)據(jù)記錄了用戶在車上的操作行為，可以通過采集用戶行為數(shù)據(jù)，了解車主日常使用車輛的行為習(xí)慣，從而幫助車企優(yōu)化配置，為車主提供更好的服務(wù)。

為了準(zhǔn)確地獲得車機(jī)狀態(tài)和用戶的座艙的使用情況，保證收集到的用戶行為數(shù)據(jù)準(zhǔn)確有效地刻畫了車主的真實行為，更好地為數(shù)據(jù)挖掘和決策分析提供支持，同時也需要對采集到的數(shù)據(jù)質(zhì)量進(jìn)行評估，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，可以保證分析結(jié)果的真實和有價值。

隨著當(dāng)前車聯(lián)網(wǎng)智能化的不斷推進(jìn)，企業(yè)數(shù)據(jù)庫中獲得的行為數(shù)據(jù)數(shù)量和種類逐步增多，但對用戶行為數(shù)據(jù)質(zhì)量的管理普遍水平不高，導(dǎo)致行為數(shù)據(jù)對分析決策支持度低，不能形成適合用戶行為數(shù)據(jù)的質(zhì)量檢測體系，從而制約了數(shù)據(jù)的深度挖掘。如何對車企的各種類型的用戶行為數(shù)據(jù)質(zhì)量進(jìn)行實時檢測，及時并準(zhǔn)確地發(fā)現(xiàn)數(shù)據(jù)中存在的問題，對于數(shù)據(jù)管理具有重要意義。

目前已有的數(shù)據(jù)質(zhì)量評估工具主要通過分別從完整性、規(guī)范性、一致性、準(zhǔn)確性以及唯一性等方面分別通過檢測統(tǒng)計質(zhì)量得分，通過加權(quán)平均計算出數(shù)據(jù)質(zhì)量綜合評分的方法對數(shù)據(jù)質(zhì)量進(jìn)行檢測和管控，這樣的質(zhì)量評估方式雖然計算公式簡單，但是存在以下缺點(diǎn)：

1.難以結(jié)合行為數(shù)據(jù)的特點(diǎn)進(jìn)行質(zhì)量檢測。

2.統(tǒng)計層次比較單一，不能給出不同深度的質(zhì)量評估效果，不能挖掘行為數(shù)據(jù)之間復(fù)雜的質(zhì)量問題。

因此，有必要開發(fā)一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法及存儲介質(zhì)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法及存儲介質(zhì)，用于解決現(xiàn)有檢測方法統(tǒng)計層次過于單一，不能針對不同深度的數(shù)據(jù)質(zhì)量進(jìn)行評估，不能挖掘用戶行為數(shù)據(jù)之間復(fù)雜的質(zhì)量問題。

第一方面，本發(fā)明提供了一種用戶行為數(shù)據(jù)質(zhì)量的實時檢測方法，包括如下步驟：

從日志數(shù)據(jù)提取用戶行為數(shù)據(jù)；

通過流式處理所述用戶行為數(shù)據(jù)，以實現(xiàn)實時監(jiān)測用戶行為數(shù)據(jù)并得到實時數(shù)據(jù)流；

根據(jù)數(shù)據(jù)庫設(shè)置的數(shù)據(jù)質(zhì)量評估規(guī)則與訓(xùn)練數(shù)據(jù)異常深層模型，依次對實時數(shù)據(jù)流的精確性、邏輯一致性以及數(shù)據(jù)異常深層進(jìn)行檢驗，其中，

對所述實時數(shù)據(jù)流的精確性進(jìn)行檢驗時，若實時數(shù)據(jù)流的精確性未能通過所述數(shù)據(jù)質(zhì)量評估規(guī)則的檢驗，則得到數(shù)據(jù)異常報告，反之，則繼續(xù)對實時數(shù)據(jù)流的邏輯一致性進(jìn)行評估檢驗；若實時數(shù)據(jù)流的邏輯一致性未能通過數(shù)據(jù)質(zhì)量評估規(guī)則的檢驗，則得到數(shù)據(jù)異常報告，反之，則繼續(xù)對實時數(shù)據(jù)流的數(shù)據(jù)異常深層進(jìn)行評估檢驗；若實時數(shù)據(jù)流的數(shù)據(jù)異常深層未能通過訓(xùn)練數(shù)據(jù)異常深層模型的檢驗，則得到數(shù)據(jù)異常報告，反之，則將實時數(shù)據(jù)流將上傳至數(shù)據(jù)庫進(jìn)行保存。

進(jìn)一步地，對實時數(shù)據(jù)流的精確性進(jìn)行檢驗時的約束條件包括主鍵非空約束、數(shù)據(jù)類型約束、數(shù)據(jù)格式約束、數(shù)據(jù)精度約束以及值域范圍約束。