[發(fā)明專利]一種多維高速公路收費數(shù)據(jù)的異常檢測與修復(fù)方法

有效

• 申請?zhí)枺?/td>: 202011104273.2
• 申請日: 2020-10-15
• 公開（公告）號: CN112287984B
• 公開（公告）日: 2022-10-11
• 發(fā)明（設(shè)計）人: 孫朝云;裴莉莉;沙愛民;韓雨希;李偉;郝雪麗;戶媛姣;袁博
• 申請（專利權(quán)）人: 長安大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06Q30/02
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李婷

本發(fā)明公開了一種多維高速公路收費數(shù)據(jù)的異常檢測與修復(fù)方法，包括步驟1：采集高速公路原始多維收費數(shù)據(jù)，并對高速公路原始多維收費數(shù)據(jù)進行預(yù)處理以得到多維規(guī)范之后的原始數(shù)據(jù)；步驟2：構(gòu)建基于相似系數(shù)和的異常數(shù)據(jù)檢測模型；步驟3：將步驟1中得到的多維規(guī)范之后的原始數(shù)據(jù)輸入基于相似系數(shù)和的異常數(shù)據(jù)檢測模型，通過檢測得到含有異常值的多維數(shù)據(jù)；步驟4：構(gòu)建基于極端梯度提升的異常數(shù)據(jù)修復(fù)模型；步驟5：將步驟3中得到的含有異常值的多維數(shù)據(jù)輸入基于極端梯度提升的異常數(shù)據(jù)修復(fù)模型，實現(xiàn)多維數(shù)據(jù)異常修復(fù)及效果評估。本發(fā)明能夠明顯提升高速公路收費數(shù)據(jù)的質(zhì)量與可用性，為后續(xù)的高速公路異常事件檢測以及大數(shù)據(jù)統(tǒng)計分析工作提供良好的數(shù)據(jù)基礎(chǔ)。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘領(lǐng)域，公開了一種多維高速公路收費數(shù)據(jù)的異常檢測與修復(fù)方法。

背景技術(shù)

隨著高速路網(wǎng)的建設(shè)和信息時代的到來，智能收費系統(tǒng)日漸完善，收集的數(shù)據(jù)也達(dá)到了相當(dāng)可觀的量級。其中，占有重要地位的高速公路收費數(shù)據(jù)具有詳盡的車輛通行信息，通過數(shù)據(jù)挖掘技術(shù)可以解決高速公路的運營和決策問題，但是這都需要建立在高質(zhì)量數(shù)據(jù)的基礎(chǔ)之上。收費數(shù)據(jù)中往往存在以異常值和缺失值為代表的“臟數(shù)據(jù)”，極大地影響數(shù)據(jù)挖掘的效果。如果直接使用單維度異常數(shù)據(jù)清洗方法并將“臟數(shù)據(jù)”簡單濾除，將會失去大量屬性和信息，致使后續(xù)對如異常數(shù)據(jù)形成原因和高速異常事件進行分析可依賴的數(shù)據(jù)特征和數(shù)量減少，因此亟需對多維數(shù)據(jù)異常處理算法展開研究。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種多維高速公路收費數(shù)據(jù)的異常檢測與修復(fù)方法，用以提升高速公路收費數(shù)據(jù)的質(zhì)量與可用性，為后續(xù)的高速公路異常事件檢測以及大數(shù)據(jù)統(tǒng)計分析工作提供良好的數(shù)據(jù)基礎(chǔ)。

為了實現(xiàn)上述任務(wù)，本發(fā)明采用以下技術(shù)方案：

一種針對多維高速公路收費數(shù)據(jù)的異常檢測與修復(fù)方法，包括如下步驟：

步驟1：采集高速公路原始多維收費數(shù)據(jù)，并對高速公路原始多維收費數(shù)據(jù)進行預(yù)處理以得到多維規(guī)范之后的原始數(shù)據(jù)；

步驟2：構(gòu)建基于相似系數(shù)和的異常數(shù)據(jù)檢測模型；

步驟3：將步驟1中得到的多維規(guī)范之后的原始數(shù)據(jù)輸入基于相似系數(shù)和的異常數(shù)據(jù)檢測模型，通過檢測得到含有異常值的多維數(shù)據(jù)；

步驟4：構(gòu)建基于極端梯度提升的異常數(shù)據(jù)修復(fù)模型；

步驟5：將步驟3中得到的含有異常值的多維數(shù)據(jù)輸入基于極端梯度提升的異常數(shù)據(jù)修復(fù)模型，實現(xiàn)多維數(shù)據(jù)異常修復(fù)及效果評估。

進一步地，對高速公路原始多維收費數(shù)據(jù)進行預(yù)處理，所述預(yù)處理包括從高速公路原始多維收費數(shù)據(jù)中選取合適的特征因子并按照第一關(guān)系模型對其進行規(guī)范化，得到多維規(guī)范之后的原始數(shù)據(jù)。其中，第一關(guān)系模型包括：

其中，X為原始數(shù)據(jù)集，x_i為第i條數(shù)據(jù)，分別為第i，數(shù)據(jù)選取的m，特征因子，其中，x^*表示已處理值，x表示待處理值，μ為待處理值的均值，σ為待處理值標(biāo)準(zhǔn)差，X′為經(jīng)過預(yù)處理后的數(shù)據(jù)集。

進一步地，所述基于相似系數(shù)和的異常數(shù)據(jù)檢測模型以多維規(guī)范之后的原始數(shù)據(jù)作為樣本輸入數(shù)據(jù)，按照第二關(guān)系模型計算數(shù)據(jù)間的相似程度，得到相似系數(shù)矩陣并據(jù)此計算出每條數(shù)據(jù)的相似系數(shù)和，進而計算出每條數(shù)據(jù)的判別系數(shù)，通過與給定的閾值的比較結(jié)果來判別數(shù)據(jù)是否為異常數(shù)據(jù)。其中，第二關(guān)系模型包括：