[發(fā)明專利]異常數(shù)據(jù)檢測(cè)方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810164603.3
• 申請(qǐng)日: 2018-02-27
• 公開(kāi)（公告）號(hào): CN108446720A
• 公開(kāi)（公告）日: 2018-08-24
• 發(fā)明（設(shè)計(jì)）人: 劉洋
• 申請(qǐng)（專利權(quán)）人: 華青融天（北京）技術(shù)股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京超凡志成知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11371
• 代理人: 王術(shù)蘭

本發(fā)明提供了一種異常數(shù)據(jù)檢測(cè)方法和系統(tǒng)，涉及大數(shù)據(jù)應(yīng)用與數(shù)據(jù)科學(xué)技術(shù)領(lǐng)域，采用大數(shù)據(jù)采集技術(shù)獲取生產(chǎn)數(shù)據(jù)；對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行多維度特征提取，得到多維度特征數(shù)據(jù)；將多維度特征數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，得到異常數(shù)據(jù)集。本發(fā)明可以全面準(zhǔn)確地檢測(cè)異常數(shù)據(jù)，從而提高數(shù)據(jù)防控的安全性。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)應(yīng)用與數(shù)據(jù)科學(xué)技術(shù)領(lǐng)域，尤其是異常數(shù)據(jù)檢測(cè)方法和系統(tǒng)。

背景技術(shù)

信息技術(shù)在為各行業(yè)帶來(lái)方便和快捷的同時(shí),也伴隨著新的風(fēng)險(xiǎn)和問(wèn)題。風(fēng)險(xiǎn)管理是各行業(yè)核心競(jìng)爭(zhēng)力之一，例如銀行業(yè)，風(fēng)險(xiǎn)控制與數(shù)據(jù)安全一直是其重中之重。

但即便是在現(xiàn)今的大數(shù)據(jù)時(shí)代，數(shù)據(jù)安全領(lǐng)域依然局限在傳統(tǒng)的基于規(guī)則和統(tǒng)計(jì)的業(yè)務(wù)風(fēng)險(xiǎn)防控和數(shù)據(jù)安全防控技術(shù)上。目前，國(guó)內(nèi)各行業(yè)的數(shù)據(jù)安全中心，廣泛采用基于規(guī)則和統(tǒng)計(jì)的規(guī)則引擎的方式抓取異常，但由于其局限性，使得檢測(cè)結(jié)果不夠全面和準(zhǔn)確。

公開(kāi)于該背景技術(shù)部分的信息僅僅旨在加深對(duì)發(fā)明的總體背景技術(shù)的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域技術(shù)人員所公知的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供異常數(shù)據(jù)檢測(cè)方法和系統(tǒng)，以解決采用基于規(guī)則和統(tǒng)計(jì)的規(guī)則引擎的方式抓取異常，使得檢測(cè)結(jié)果不夠全面和準(zhǔn)確的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種異常數(shù)據(jù)檢測(cè)方法，包括：

采用大數(shù)據(jù)采集技術(shù)獲取生產(chǎn)數(shù)據(jù)；

對(duì)所述生產(chǎn)數(shù)據(jù)進(jìn)行多維度特征提取，得到多維度特征數(shù)據(jù)；

將所述多維度特征數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，得到異常數(shù)據(jù)集。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，所述對(duì)所述生產(chǎn)數(shù)據(jù)進(jìn)行多維度特征提取，得到多維度特征數(shù)據(jù)，包括：

將所述生產(chǎn)數(shù)據(jù)進(jìn)行數(shù)字化特征提取，得到數(shù)字維度數(shù)據(jù)；

將所述數(shù)字維度數(shù)據(jù)進(jìn)行特征轉(zhuǎn)換，得到所述多維度特征數(shù)據(jù)。

結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，所述將所述數(shù)字維度數(shù)據(jù)進(jìn)行特征轉(zhuǎn)換，得到所述多維度特征數(shù)據(jù)包括：

將所述數(shù)字維度數(shù)據(jù)進(jìn)行正則化，得到所述多維度特征數(shù)據(jù)；

或者；

將所述數(shù)字維度數(shù)據(jù)進(jìn)行類別映射，得到所述多維度特征數(shù)據(jù)；

或者；

將所述數(shù)字維度數(shù)據(jù)進(jìn)行函數(shù)變換，得到所述多維度特征數(shù)據(jù)。

結(jié)合第一方面的第二種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，所述將所述數(shù)字維度數(shù)據(jù)進(jìn)行函數(shù)變換，得到所述多維度特征數(shù)據(jù)包括：

獲取所述數(shù)字維度數(shù)據(jù)的分布函數(shù)；

將所述數(shù)字維度數(shù)據(jù)的分布函數(shù)映射到傳統(tǒng)分布函數(shù)，得到所述多維度特征數(shù)據(jù)；其中，所述傳統(tǒng)分布函數(shù)包括線性函數(shù)。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，所述將所述多維度特征數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，得到異常數(shù)據(jù)集包括：

通過(guò)聚類機(jī)器學(xué)習(xí)模型將所述多維度特征數(shù)據(jù)進(jìn)行聚類學(xué)習(xí)，得到多個(gè)數(shù)據(jù)集合；

從每個(gè)所述數(shù)據(jù)集合中選取異常數(shù)據(jù)點(diǎn)，得到所述異常數(shù)據(jù)集。

結(jié)合第一方面的第四種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第五種可能的實(shí)施方式，其中，所述從每個(gè)所述數(shù)據(jù)集合中選取異常數(shù)據(jù)點(diǎn)，得到異常數(shù)據(jù)集，包括：