[發(fā)明專利]一種含有缺失數(shù)據(jù)的數(shù)據(jù)保距性降維方法

在審

• 申請?zhí)枺?/td>: 201911059239.5
• 申請日: 2019-11-01
• 公開（公告）號(hào): CN110852366A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 從銀川;謝鯤;歐陽與點(diǎn);文吉?jiǎng)?/a>
• 申請（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙正奇專利事務(wù)所有限責(zé)任公司 43113
• 代理人: 馬強(qiáng);曾利平

1.一種含有缺失數(shù)據(jù)的數(shù)據(jù)保距性降維方法，其特征在于，包括以下步驟：

步驟1：獲取樣本數(shù)據(jù)集，將樣本數(shù)據(jù)集分為訓(xùn)練樣本集和測試樣本集，將樣本數(shù)據(jù)集中的所有樣本向量化形成樣本矩陣；根據(jù)所述樣本矩陣生成與樣本矩陣一一對應(yīng)的缺失數(shù)據(jù)矩陣，所述缺失數(shù)據(jù)矩陣中每個(gè)元素的值為1或0，1表示樣本矩陣中該位置數(shù)據(jù)正常，0表示樣本矩陣中該位置數(shù)據(jù)缺失；

步驟2：構(gòu)建自動(dòng)編碼器，選擇自動(dòng)編碼器的激活函數(shù)與初始化方法；

步驟3：根據(jù)步驟1中的缺失數(shù)據(jù)矩陣設(shè)計(jì)步驟2中自動(dòng)編碼器的損失函數(shù)；

步驟4：從步驟1的訓(xùn)練樣本集中選擇樣本向量作為自動(dòng)編碼器的輸入，計(jì)算步驟3中損失函數(shù)的值；

步驟5：更新所述自動(dòng)編碼器中編碼器的權(quán)重矩陣，使編碼器權(quán)重矩陣的更新具有隨機(jī)投影特性；且判斷是否達(dá)到預(yù)設(shè)訓(xùn)練次數(shù)，如果訓(xùn)練次數(shù)小于或等于預(yù)設(shè)訓(xùn)練次數(shù)，則轉(zhuǎn)入步驟4，否則轉(zhuǎn)入步驟6；

步驟6：采用訓(xùn)練后的自動(dòng)編碼器對測試樣本集中的樣本矩陣進(jìn)行降維處理。

2.如權(quán)利要求1所述的數(shù)據(jù)保距性降維方法，其特征在于，所述步驟2中，自動(dòng)編碼器的網(wǎng)絡(luò)結(jié)構(gòu)為輸入層-第一隱藏層-第二隱藏層-第三隱藏層-輸出層，自動(dòng)編碼器的編碼器的網(wǎng)絡(luò)結(jié)構(gòu)為輸入層-第一隱藏層-第二隱藏層，自動(dòng)編碼器的解碼器的網(wǎng)絡(luò)結(jié)構(gòu)為第二隱藏層-第三隱藏層-輸出層。

3.如權(quán)利要求1所述的數(shù)據(jù)保距性降維方法，其特征在于，所述步驟3中，自動(dòng)編碼器的損失函數(shù)L(W_e，W_d，b_d)為：

其中，||★||表示向量的二范數(shù)，⊙表示兩個(gè)向量中的元素逐個(gè)相乘，x_t為自動(dòng)編碼器第t個(gè)輸入向量，為x_t作為自動(dòng)編碼器輸入時(shí)的輸出向量，r_t為與輸入向量x_t對應(yīng)的缺失數(shù)據(jù)向量，x_t∈X，r_t∈R，X為樣本矩陣，R為與樣本矩陣X對應(yīng)的缺失數(shù)據(jù)矩陣，表示k個(gè)樣本向量且每個(gè)樣本向量的長度為m，s為一個(gè)批量的大小，D(★；W_d，b_d)表示解碼器，E(★；W_e)表示編碼器，W_e為編碼器的權(quán)重矩陣，W_d為解碼器的權(quán)重矩陣，b_d表示解碼器的偏置項(xiàng)。

4.如權(quán)利要求1所述的數(shù)據(jù)保距性降維方法，其特征在于，所述步驟5中，采用權(quán)重標(biāo)準(zhǔn)化處理更新?lián)p失函數(shù)中編碼器的權(quán)重矩陣，使更新后編碼器權(quán)重矩陣的均值為0、方差為1，具體的權(quán)重標(biāo)準(zhǔn)化處理公式為：

其中，w_ei為BP算法更新后權(quán)重標(biāo)準(zhǔn)化處理前編碼器第i個(gè)權(quán)重矩陣，w′_ei為權(quán)重矩陣w_ei權(quán)重標(biāo)準(zhǔn)化處理后的矩陣，μ_ei為w_ei的均值，σ_ei為w_ei的方差，E_ei為元素全為1的矩陣。

5.如權(quán)利要求1所述的數(shù)據(jù)保距性降維方法，其特征在于，在所述步驟3中損失函數(shù)的基礎(chǔ)上增加正則化項(xiàng)，根據(jù)增加正則化項(xiàng)后損失函數(shù)的值更新編碼器的權(quán)重矩陣。

6.如權(quán)利要求5所述的數(shù)據(jù)保距性降維方法，其特征在于，所述正則化項(xiàng)L_r的表達(dá)式為：

增加正則化項(xiàng)后的損失函數(shù)的表達(dá)式為：

L_C＝L+αL_r

其中，w_ei為編碼器第i個(gè)權(quán)重矩陣，σ_ei為權(quán)重矩陣w_ei的方差，μ_ei為權(quán)重矩陣w_ei的均值，c為編碼器權(quán)重矩陣的數(shù)量，L為未增加正則化項(xiàng)的損失函數(shù)，L_C為增加正則化項(xiàng)后的損失函數(shù)，α為超參數(shù)。

7.如權(quán)利要求5所述的數(shù)據(jù)保距性降維方法，其特征在于，所述正則化項(xiàng)L_r的表達(dá)式為：

增加正則化項(xiàng)后的損失函數(shù)的表達(dá)式為：

L_C＝L+αL_r

其中，||★||_F為矩陣的F范數(shù)，w_ei為編碼器第i個(gè)權(quán)重矩陣，為權(quán)重矩陣w_ei的轉(zhuǎn)置，I為單位矩陣，c為編碼器權(quán)重矩陣的數(shù)量，L為未增加正則化項(xiàng)的損失函數(shù)，L_C為增加正則化項(xiàng)后的損失函數(shù)，α為超參數(shù)。