[發明專利]一種數據特征預處理的方法及其實現系統和應用

在審

• 申請號: 202011040887.9
• 申請日: 2020-09-28
• 公開（公告）號: CN112199415A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 李玉軍;鄧媛潔;魏瑩
• 申請（專利權）人: 山東大學
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06N3/04;G06N3/08;G06Q10/06;G06Q50/26
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

1.一種數據特征預處理的方法，其特征在于，包括步驟如下：

(1)數據結構化

原始數據包括可量化字段和文本字段；

對于所述可量化字段，對其中的離散類別字段進行標簽編碼，對連續數值型字段進行歸一化；

對于所述文本字段，對其進行規則提取，利用信息抽取和知識表示技術，提取出關鍵字，并表示相對應的規則，建立結構化知識庫；

(2)特征向量提取和構建

對于步驟(1)處理后的可量化字段，判斷相似度，刪除樣本相似度區分較小的無效特征，并選擇最有效的特征作為特征向量。

2.根據權利要求1所述的一種數據特征預處理的方法，其特征在于，特征向量提取和構建，包括步驟如下：

1)相似度計算

結合閔可夫斯基距離和VDM距離，求取數據集中的混合屬性的距離，數據集是指結構化知識庫里的數據，混合屬性包括有序屬性和無序屬性，計算方法如下：

若在數據集X′有n_c個連續有序屬性，n-n_c個無序屬性)，連續數值型字段對應的是有序屬性，離散類別字段對應的是無序屬性，給出數據樣本x_i＝(x_i1；x_i2；…；x_in)與x_j＝(x_j1；x_j2；…；x_jn)，x_i1；x_i2；…；x_in是數據樣本x_i在所有混合屬性中的取值，x_j1；x_j2；…；x_jn是數據樣本x_j在所有混合屬性中的取值，通過式(Ⅰ)計算出數據樣本x_i和數據樣本x_j的混合屬性的距離MinkovDM_P(x_i，x_j)：

式(Ⅰ)中，x_iu和x_ju分別是數據樣本x_i和x_j在第u個屬性上的取值，n_c是有序屬性的個數，p≥1，n是屬性的總個數，VDM算法公式如式(Ⅱ)所示：

式(Ⅱ)中，b＝x_ju，a＝x_iu，m_u,a表示在屬性u上取值為a的樣本數，m_u,a,i表示在第i個樣本中在屬性u上取值為a的樣本數，6是樣本個數，VDM_P(a,b)表示在屬性u上兩個離散值a和b之間的VDM距離；

根據數據樣本x_i和數據樣本x_j的混合屬性的距離MinkovDM_P(x_i，x_j)，判斷相似度，刪除樣本相似度區分較小的無效特征；

2)權重排序

基于特征對近距離樣本的區分能力評估特征進行特征篩選，提取出的特征應該使同類樣本接近，異類樣本遠離，基于Relief F思想，具體計算方法如下：

將步驟1)處理后的結構化的數據集隨機分為兩部分，大的部分作為訓練集D，小的部分作為測試集；從訓練集D中隨機選擇一個樣本R，從和R同類的樣本中尋找k最近鄰樣本H，從和R不同類的樣本中尋找k最近鄰樣本M，按照公式(Ⅲ)更新特征權重，A表示需要計算權重的特征：

式(Ⅲ)中，diff(A,R₁,R₂)表示樣本R₁和樣本R₂在特征A上的差，R₁[A]表示樣本R₁在特征A上的取值，R₂[A]表示樣本R₂在特征A上的取值，max(A)表示在特征A上所有樣本中的最大值，min(A)表示在特征A上所有樣本中的最小值；

按照每個特征的權重從大到小進行排序，選擇排序中的前幾個最有效的特征作為特征向量。