[發明專利]一種深度遷移學習的不平衡分類集成方法

有效

• 申請號: 201710480452.8
• 申請日: 2017-06-22
• 公開（公告）號: CN107316061B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 陳瓊;徐洋洋
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳宏升

1.一種深度遷移學習的不平衡分類集成方法，其特征在于，應用于圖像數據，包括以下步驟：

(1)建立輔助數據集：

根據目標數據的特性，選擇或者采集與目標任務相關的數據組成輔助數據集；

(2)構建輔助深度網絡模型和目標深度網絡模型：

確定深度網絡的結構，構建輔助深度網絡模型和目標深度網絡模型；

(3)訓練輔助深度網絡：

(3-1)利用無標簽的輔助數據樣本對棧式自編碼器進行預訓練；

(3-2)利用有標簽的輔助數據樣本對步驟(3-1)訓練得到的網絡參數進行調整；

(4)將輔助深度網絡的結構和參數遷移到目標深度網絡：

(4-1)將輔助深度網絡中的一個或多個隱含層遷移到目標深度網絡，遷移的隱含層不同能夠得到不同的遷移合成目標網絡；

(4-2)使用APE或者APCE作為損失函數，利用目標數據對遷移合成的各個目標網絡中的一個或多個隱含層進行訓練，得到若干個不同的遷移分類器；

所述步驟(4)具體為：

將輔助深度網絡的結構和參數遷移到目標深度網絡包括兩步：

a、將輔助深度網絡隱含層遷移到目標深度網絡；遷移的對象包括任一隱含層、連續的若干個隱含層、整個網絡的所有隱含層中的一種；

b、用APE和APCE作為損失函數，利用目標數據對遷移合成的各個目標網絡進行訓練得到目標分類器，訓練過程能夠“凍結”目標網絡中的部分隱含層，即不改變該部分隱含層參數的數值；

損失函數APE和APCE的計算公式如下：

其中，M表示樣本總數，N表示多數類樣本的個數，P表示少數類樣本個數，N+P＝M且NP，O表示輸出層的神經元個數；auprc表示precision-recall曲線下的面積，precision-recall曲線是以recall為橫坐標，precision為縱坐標，根據不同分類閾值下的precision和recall值繪制而成的曲線；當C＝N時，auprc^C表示多數類的auprc值；當C＝P時，auprc^C表示少數類的auprc值；表示樣本i在輸出神經元j的期望輸出；表示樣本i在輸出神經元j的實際輸出；

平均精度表示不同分類閾值下，不同召回率所對應的不同精度的均值；用平均精度計算auprc值：

其中，r(k)表示第k個分類閾值對應的召回率，p(k)表示第k個分類閾值對應的精度；

APE和APCE是應用于不平衡數據特征學習的深度網絡的損失函數，APE是改進的平均精度方差損失函數，APCE是改進的平均精度交叉熵損失函數，利用auprc值實現對不同類別的樣本的區別對待，在計算樣本的損失代價時，動態調整樣本的權值，對多數類樣本賦予較少的權值，對少數類樣本賦予更多的權值，由此訓練得到的網絡對少數類樣本更加重視；

在步驟a中選擇不同的隱含層遷移，或者在步驟b中選擇局部網絡層進行參數調整，通過遷移學習得到不同的分類器；由于目標數據的深度網絡由輔助數據遷移學習得到，各個分類器的分類結果存在差異，或者偏向少數類，或者偏向多數類，甚至產生負遷移的現象；

(5)各遷移分類器的集成：

用步驟(4-2)的遷移分類器的分類結果計算auprc值的乘積作為分類器的權值，對各個遷移分類器的分類結果加權集成，得到集成分類結果，作為集成分類器輸出。

2.根據權利要求1所述深度遷移學習的不平衡分類集成方法，其特征在于，步驟(1)中，所述輔助數據集是否與目標任務相關是通過經驗判斷。

3.根據權利要求1所述深度遷移學習的不平衡分類集成方法，其特征在于，步驟(2)中，所述深度網絡模型為棧式降噪自編碼器，棧式降噪自編碼器的每一個隱含層都是一個降噪自編碼器，設置深層網絡的激活函數為Sigmoid函數。