[發(fā)明專利]一種稀疏數(shù)據(jù)異常檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710508648.3
• 申請(qǐng)日: 2017-06-28
• 公開（公告）號(hào): CN107391443B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計(jì)）人: 馬帥;朱孟笑;張暉;懷進(jìn)鵬
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F17/16
• 分類號(hào): G06F17/16;G06F40/30;G06K9/62
• 代理公司: 北京中創(chuàng)陽光知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11003
• 代理人: 尹振啟

1.一種稀疏數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述方法包括：

對(duì)不同類型的原始數(shù)據(jù)進(jìn)行特征處理，以將所述不同類型的原始數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一格式的稀疏數(shù)據(jù)；

采用因子分解機(jī)對(duì)所述稀疏數(shù)據(jù)進(jìn)行建模，得到非線性流形模型；

根據(jù)所述非線性流形模型，計(jì)算數(shù)據(jù)對(duì)象的異常值得分；

根據(jù)所述數(shù)據(jù)對(duì)象的異常值得分，判定所述數(shù)據(jù)對(duì)象是否為異常數(shù)據(jù)；

所述對(duì)不同類型的原始數(shù)據(jù)進(jìn)行特征處理，以將所述不同類型的原始數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一格式的稀疏數(shù)據(jù)，包括：

分別對(duì)分類型數(shù)據(jù)、短文本數(shù)據(jù)以及數(shù)值型數(shù)據(jù)進(jìn)行不同的特征處理，得到n行d列的數(shù)據(jù)集其中z_ij表示第i行第j列的數(shù)據(jù)；

所述采用因子分解機(jī)對(duì)所述稀疏數(shù)據(jù)進(jìn)行建模，得到非線性流形模型，包括：

采用因子分解機(jī)對(duì)所述數(shù)據(jù)集進(jìn)行建模，使所述數(shù)據(jù)集位于非線性流形上，得到的非線性流形模型為：

其中，p是1...n之間的任意值，g是全局參數(shù)；b₁，...，b_d是特定屬性參數(shù)；是屬性值z(mì)_pi和z_pj的隱含關(guān)系權(quán)重，其中是一個(gè)k維向量；

所述根據(jù)所述非線性流形模型，計(jì)算數(shù)據(jù)對(duì)象的異常值得分，包括

根據(jù)所述非線性流形模型，計(jì)算數(shù)據(jù)對(duì)象的異常值得分為：

其中，對(duì)于文本數(shù)據(jù)，LQ(Z_p)等于所有文本的平均單詞個(gè)數(shù)除以該文本的單詞個(gè)數(shù)；而對(duì)于分類型數(shù)據(jù)和數(shù)值型數(shù)據(jù)，LQ(Z_p)等于1。

2.根據(jù)權(quán)利要求1所述的稀疏數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述分別對(duì)分類型數(shù)據(jù)、短文本數(shù)據(jù)以及數(shù)值型數(shù)據(jù)進(jìn)行不同的特征處理，包括：

針對(duì)所述分類型數(shù)據(jù)，對(duì)每個(gè)分類型屬性中的每個(gè)值創(chuàng)建一個(gè)二值屬性，所述二值屬性的值是0或1；其中，如果一個(gè)數(shù)據(jù)對(duì)象中包含所述二值屬性，則該數(shù)據(jù)對(duì)象對(duì)應(yīng)于所述二值屬性上的值為1，否則為0；

針對(duì)所述短文本數(shù)據(jù)，為每個(gè)不同的關(guān)鍵詞創(chuàng)建一個(gè)屬性；其中，如果一個(gè)文本包含r個(gè)關(guān)鍵詞，則在每個(gè)關(guān)鍵詞屬性上的值為在其他詞屬性上的值為0；

針對(duì)所述數(shù)值型數(shù)據(jù)，對(duì)原始數(shù)據(jù)集中每個(gè)屬性i執(zhí)行以下操作：計(jì)算平均值u_i和標(biāo)準(zhǔn)差σ_i，將范圍(u_i-σ_i，u_i+σ_i)平分成Φ個(gè)區(qū)間；為每個(gè)區(qū)間創(chuàng)建一個(gè)屬性，如果一個(gè)數(shù)據(jù)對(duì)象第i個(gè)屬性的值位于其中的一個(gè)區(qū)間，則該區(qū)間的屬性值為1，否則為0；如果一個(gè)數(shù)據(jù)對(duì)象第i個(gè)屬性的值x_i小于u_i-σ_i，則創(chuàng)建一個(gè)屬性，其屬性值為|x_i-(u_i-σ_i)|/σ_i；如果x_i大于u_i+σ_i，則創(chuàng)建一個(gè)屬性，其屬性值為|x_i-(u_i+σ_i)|/σ_i；其中，Φ的值根據(jù)原始數(shù)據(jù)集的大小設(shè)定。

3.根據(jù)權(quán)利要求1所述的稀疏數(shù)據(jù)異常檢測(cè)方法，其特征在于，所述非線性流形模型中的參數(shù)g，b_i，的值通過最小化所有數(shù)據(jù)對(duì)象的均方誤差得到，其中，最小化對(duì)應(yīng)的優(yōu)化目標(biāo)函數(shù)為：

其中，是正則化項(xiàng)，Θ是包含參數(shù)g，b_i，v_ij的參數(shù)空間，θ是參數(shù)空間中任意一個(gè)參數(shù)，λ_θ是參數(shù)θ的正則化參數(shù)值，λ_g表示針對(duì)參數(shù)g的正則化參數(shù)值，表示針對(duì)參數(shù)b_i的正則化參數(shù)值，表示針對(duì)參數(shù)v_ij的正則化參數(shù)值。