[發明專利]一種不均衡不完整數據集的建模及缺失值填補方法

在審

• 申請號: 202010085969.9
• 申請日: 2020-02-11
• 公開（公告）號: CN111353525A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 劉輝;張立勇;陸藝丹
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 隋秀文;溫福雪

1.一種不均衡不完整數據集的建模及缺失值填補方法，其特征在于，具體如下：

(1)構建模型

結合局部密度和局部距離定義了每個樣本的距離密度ds_ij的計算方法，并設計辨識前件模型的距離密度算法，簡稱SD算法：

設有不完整數據集X＝{X_M,X_C}，其中X_M為數據集中缺失值構成的子集，X_C為數據集中非缺失值構成的子集，對于任意樣本x_i,x_j∈X，其距離密度ds_ij為：

ds_ij＝exp(S(x_i))×pd(x_i,x_j) (5)

式中，S(x)_i是式(6)中定義的樣本x_i的局部密度，pd(x_i,x_j)是由式(7)得到的x_i和x_j的局部距離；

數據集X中的樣本x_i的局部密度定義為：

式中，N_j表示由樣本x_i的K個近鄰樣本x_j組成的集合，其中i＝1,2,...,n，n表示樣本數量，j＝1,2,...,K，K為自定義常數，pd(x_i,x_j)定義為局部距離，計算方法為：

式中，s是樣本屬性數量，I_im標記第i個樣本的第m個屬性值x_im是否缺失，I_jm標記第j個樣本的第m個屬性值x_jm是否缺失，計算方法為：

采用SD算法計算出樣本的聚類中心，以及聚類中心的個數，然后用得到的聚類中心計算隸屬度，最終得到模型的前件參數；

(2)填補方案

基于一種迭代學習的方式更新TS模型的結論參數和填補值：針對樣本屬性數量為s的不完整數據集X，分別以每維屬性作為輸出，搭建s個TS模型，每個TS模型的輸入為D^(m)＝{D₁,D₂,...,D_m-1,D_m+1,...D_s}，期望輸出為Y＝D_m，其中m＝1,2,...,s，首先對不完整數據集隨機初始化得到完整數據集，隨后基于最小二乘法計算結論參數，在每個TS模型中，對于第j個樣本x_j的第i條規則R⁽ⁱ⁾的加權輸入H_j⁽ⁱ⁾由式(9)得到：

H_j⁽ⁱ⁾＝v_j⁽ⁱ⁾Γ⁽ⁱ⁾ (9)

式中v_j⁽ⁱ⁾表示權重；Γ⁽ⁱ⁾＝[1,x_j1⁽ⁱ⁾,...,x_j(q-1)⁽ⁱ⁾,x_j(q+1)⁽ⁱ⁾,...,x_js⁽ⁱ⁾]表示經過變量選擇之后R⁽ⁱ⁾的輸入變量，其中輸入變量x_jq⁽ⁱ⁾被剔除，i＝1,2,...,k，j＝1,2,...,n，1qs，然后計算模型的實際輸出值

式中P⁽ⁱ⁾為由最小二乘公式得到的第i條規則R⁽ⁱ⁾的結論參數；

通過公式(9)和(10)得到s個TS模型的輸出集合其中l表示第l次迭代，表示更新填補值，表示現有數據對應的模型輸出，用來計算與相應真實值的均方根誤差f^(l)，然后計算與上一次迭代學習得到的均方根誤差f^(l-1)的差值|△f|，若大于閥值ε則重復上述步驟進入新一輪學習，否則迭代結束并輸出填補后的數據集，這樣，以第s維屬性為輸出的不均衡不完整數據TS建模得以實現。