[發(fā)明專利]一種具有穩(wěn)定性能的深度學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 202110258971.6
• 申請日: 2021-03-10
• 公開（公告）號: CN112949658B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 崔鵬;張興璇
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 廖元秋

1.一種具有穩(wěn)定性能的深度學(xué)習(xí)方法，其特征在于，該方法首先獲取用于分類任務(wù)的圖片數(shù)據(jù)集訓(xùn)練數(shù)據(jù)集并構(gòu)建一個由深度特征提取器和分類器構(gòu)成的深度學(xué)習(xí)網(wǎng)絡(luò)；從訓(xùn)練數(shù)據(jù)集中隨機選取一個批次的樣本輸入該網(wǎng)絡(luò)，其中深度特征提取器輸出該輸入批次樣本的原始特征并經(jīng)過隨機傅立葉特征變換后得到對應(yīng)的隨機傅立葉表征矩陣；利用隨機傅立葉表征矩陣對原始特征進行獨立性檢測，訓(xùn)練得到輸入批次各樣本的對應(yīng)權(quán)重；利用該權(quán)重對當(dāng)前網(wǎng)絡(luò)的預(yù)測損失值中每個樣本的預(yù)測損失值進行按位相乘得到修正后的最終訓(xùn)練損失值并更新網(wǎng)絡(luò)參數(shù)，直至深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到訓(xùn)練完畢的深度學(xué)習(xí)網(wǎng)絡(luò)；

其中，所述利用隨機傅立葉表征矩陣對原始特征進行獨立性檢測，訓(xùn)練得到輸入批次各樣本的對應(yīng)權(quán)重，包括：

構(gòu)建訓(xùn)練損失函數(shù)如下：

其中，L(w)為訓(xùn)練損失，w為樣本權(quán)重，w_i為第i個樣本的權(quán)重，n為輸入批次中圖片的數(shù)量，m_Z為每張圖片對應(yīng)的原始特征的維度，Z為原始特征，u、v為隨機傅立葉特征映射；輸入批次中每個樣本權(quán)重初始值均設(shè)為1。

2.如權(quán)利要求1所述的方法，其特征在于，該方法包括以下步驟：

1)獲取訓(xùn)練數(shù)據(jù)集；

獲取帶有標(biāo)注的可用于分類任務(wù)的圖片數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中的每個訓(xùn)練樣本包含圖片和該圖片對應(yīng)的分類標(biāo)簽；

2)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)：

所述深度學(xué)習(xí)網(wǎng)絡(luò)由深度特征提取器g和分類器f構(gòu)成；深度特征提取器的輸入是待分類的圖片，輸出為輸入圖片對應(yīng)的深度視覺特征；分類器的輸入為由特征提取器獲取的深度視覺特征，輸出為輸入圖片對應(yīng)的分類結(jié)果；

3)從訓(xùn)練數(shù)據(jù)集中隨機選取一個批次的樣本作為當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)的輸入(X,Y),其中X代表該批次中所有圖片組成的矩陣，Y代表該批次中所有圖片對應(yīng)的分類標(biāo)簽所組成的矩陣；

首先將X輸入到當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)中的深度特征提取器g中提取所有輸入圖片的視覺特征作為原始特征Z，然后將原始特征Z通過分類器f得到該深度學(xué)習(xí)網(wǎng)絡(luò)輸出的對應(yīng)該輸入批次圖片的分類預(yù)測結(jié)果矩陣Y’，同時將該原始特征Z通過隨機傅立葉特征變換RFF得到輸入批次圖片的隨機傅立葉表征矩陣；

4)計算步驟3)所得到的輸入批次圖片分類標(biāo)簽的預(yù)測結(jié)果矩陣Y’與該批次圖片分類標(biāo)簽矩陣Y的交叉熵，得到當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測損失值，該預(yù)測損失值包含該批次中每個訓(xùn)練樣本對應(yīng)的預(yù)測損失值；

5)使用步驟3)得到的輸入批次圖片的隨機傅立葉表征矩陣對原始特征Z進行獨立性檢測，將各維隨機傅立葉表征的相關(guān)性作為訓(xùn)練損失L(w)，訓(xùn)練得到該批次各樣本對應(yīng)的樣本權(quán)重；

6)使用步驟5)得到的樣本權(quán)重與步驟4)得到的預(yù)測損失值中每個樣本的預(yù)測損失值進行按位相乘，最終得到當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)的最終訓(xùn)練損失值；

7)使用步驟6)的結(jié)果對當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)進行梯度反向傳播更新深度特征提取器與分類器的參數(shù)，得到更新后的當(dāng)前深度學(xué)習(xí)網(wǎng)絡(luò)；

8)重復(fù)步驟2)至7)，直至深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到訓(xùn)練完畢的深度學(xué)習(xí)網(wǎng)絡(luò)，深度學(xué)習(xí)完成。

3.如權(quán)利要求2所述的方法，其特征在于，所述深度特征提取器采用卷積網(wǎng)絡(luò)。