[發(fā)明專利]一種基于機(jī)器學(xué)習(xí)的海量數(shù)據(jù)中檢測異常值的方法

有效

• 申請?zhí)枺?/td>: 201710913196.7
• 申請日: 2017-09-29
• 公開（公告）號: CN107844798B
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 裘煒毅;李明敏
• 申請（專利權(quán)）人: 上海元卓信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06N20/20;G06N5/00;G06N7/00;G06N3/08
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發(fā)明涉及一種基于機(jī)器學(xué)習(xí)的海量數(shù)據(jù)中檢測異常值的方法。本發(fā)明基于數(shù)據(jù)集，建立一個偏向欠擬合的機(jī)器學(xué)習(xí)模型，讓模型學(xué)習(xí)數(shù)據(jù)的普遍特征，再利用訓(xùn)練得到的機(jī)器學(xué)習(xí)模型對數(shù)據(jù)進(jìn)行預(yù)測，比較預(yù)測值和真實(shí)值的偏差。根據(jù)訓(xùn)練出來的數(shù)據(jù)偏差，選擇一個可靠的閾值，將偏差超過閾值的數(shù)據(jù)標(biāo)記為異常，從而為后續(xù)的數(shù)據(jù)分析、數(shù)據(jù)挖掘提供更高質(zhì)量的數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于機(jī)器學(xué)習(xí)的海量數(shù)據(jù)中檢測異常值的方法，用于海量數(shù)據(jù)中的異常值檢測，可以清洗臟數(shù)據(jù)，為后續(xù)的回歸分析任務(wù)提供更高質(zhì)量的數(shù)據(jù)，提升分析精度。

背景技術(shù)

在處理數(shù)據(jù)過程中，時常發(fā)現(xiàn)部分?jǐn)?shù)據(jù)值偏離預(yù)期或大量統(tǒng)計(jì)數(shù)據(jù)結(jié)果的情況。通常，這部分?jǐn)?shù)據(jù)被定義為異常值，即：樣本數(shù)據(jù)集中明顯偏離所屬樣本中其余觀測值的數(shù)值，也可以稱為異常數(shù)據(jù)，離群值。

隨著數(shù)據(jù)總量的不斷增加，異常值的出現(xiàn)不可避免。對于人工采集的數(shù)據(jù)，采集人員的疲憊、馬虎等有意、無意的原因都有可能導(dǎo)致數(shù)據(jù)采集錯誤；對于機(jī)器采集的數(shù)據(jù)，機(jī)器故障、操作失誤等也會造成異常數(shù)據(jù)的產(chǎn)生。這些異常數(shù)據(jù)隱藏在海量數(shù)據(jù)中往往難以發(fā)現(xiàn)，但是，這些異常數(shù)據(jù)會給整個數(shù)據(jù)分析、數(shù)據(jù)挖掘過程帶來無法預(yù)估的影響，通常會降低數(shù)據(jù)分析的精度和性能。

機(jī)器學(xué)習(xí)是指計(jì)算機(jī)利用已有的數(shù)據(jù)(經(jīng)驗(yàn))得出某種模型，并利用此模型預(yù)測未來的過程。機(jī)器學(xué)習(xí)分為深度學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、遷移學(xué)習(xí)、多任務(wù)學(xué)習(xí)、規(guī)則學(xué)習(xí)等。根據(jù)輸入數(shù)據(jù)是否有標(biāo)簽，機(jī)器學(xué)習(xí)又分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。深度學(xué)習(xí)是目前機(jī)器學(xué)習(xí)方法中最為熱門的一個領(lǐng)域，它是一個端到端的學(xué)習(xí)方法。增強(qiáng)學(xué)習(xí)方法會不斷地跟環(huán)境做自主的互動，在互動的過程中用長遠(yuǎn)的收益來指導(dǎo)當(dāng)下該做什么決策。機(jī)器學(xué)習(xí)相關(guān)方法經(jīng)過多年發(fā)展已經(jīng)在海量數(shù)據(jù)處理任務(wù)中發(fā)揮了重要作用。機(jī)器學(xué)習(xí)能夠有效的學(xué)習(xí)數(shù)據(jù)集中的普遍特征，這讓基于機(jī)器學(xué)習(xí)的海量數(shù)據(jù)中異常值檢測成為可能。

發(fā)明內(nèi)容

本發(fā)明的目的是：利用機(jī)器學(xué)習(xí)技術(shù)檢測海量數(shù)據(jù)中的異常值。

為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是提供了一種基于機(jī)器學(xué)習(xí)的海量數(shù)據(jù)中檢測異常值的方法，其特征在于，包括以下步驟：

步驟1、獲取數(shù)據(jù)集，確定數(shù)據(jù)集中的數(shù)據(jù)類型，根據(jù)不同的數(shù)據(jù)類型和回歸分析任務(wù)的特性，使用基于加法模型的機(jī)器學(xué)習(xí)器選擇模型選擇合適的機(jī)器學(xué)習(xí)器；

步驟2、將整個數(shù)據(jù)集輸入機(jī)器學(xué)習(xí)器中進(jìn)行簡單訓(xùn)練，使機(jī)器學(xué)習(xí)器盡可能多的學(xué)習(xí)數(shù)據(jù)集中普遍特征的同時，盡可能少的學(xué)習(xí)數(shù)據(jù)個案中的非普遍特征，其中：簡單訓(xùn)練包括以下步驟：

步驟2.1、在輸入的數(shù)據(jù)集上構(gòu)建特征，隨后將構(gòu)建完成的特征規(guī)范化；

步驟2.2、設(shè)定機(jī)器學(xué)習(xí)器的參數(shù)；

步驟2.3、將特征輸入到機(jī)器學(xué)習(xí)器，訓(xùn)練機(jī)器學(xué)習(xí)器至偏欠擬合的狀態(tài)以減少對非普遍特征的學(xué)習(xí)，得到一個訓(xùn)練好的弱學(xué)習(xí)器；

步驟3、使用訓(xùn)練好的弱學(xué)習(xí)器對數(shù)據(jù)集中的所有個案進(jìn)行預(yù)測，得到每個個案的預(yù)測值；

步驟4、將所有個案的預(yù)測值與真實(shí)值進(jìn)行比較，設(shè)置容差大小，如果個案的真實(shí)值與預(yù)測值的差異大于容差，則認(rèn)定為異常值，如果個案的真實(shí)值與預(yù)測值的差異小于容差，則認(rèn)定為正常值；

步驟5、輸出去除異常值之后的數(shù)據(jù)集。

優(yōu)選地，在所述步驟2.1中采用標(biāo)準(zhǔn)化方法將特征規(guī)范化，將原始數(shù)據(jù)集歸一化為均值為0、方差為1的數(shù)據(jù)集。

優(yōu)選地，利用標(biāo)準(zhǔn)化方法將特征規(guī)范化包括以下步驟：

步驟5.1、設(shè)輸入的數(shù)據(jù)集上構(gòu)建的特征為v₁，v₂，…，v_n，計(jì)算特征v₁，v₂，…，v_n的均值μ和方差p；