[發(fā)明專利]一種基于字典深度學習的半監(jiān)督圖像分類方法

有效

• 申請?zhí)枺?/td>: 201811407450.7
• 申請日: 2018-11-23
• 公開（公告）號: CN109522961B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設計）人: 楊猛;陳家銘
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/778;G06V10/82;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于字典深度學習的半監(jiān)督圖像分類方法，其特征在于：該方法步驟如下：

S1：構建深度神經(jīng)網(wǎng)絡，根據(jù)深度神經(jīng)網(wǎng)絡的Softmax代價函數(shù)構建有標簽數(shù)據(jù)的代價函數(shù)L^l(Z^l,Y^l)、無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)，所述無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)包括基于字典表示和Softmax網(wǎng)絡信息的聯(lián)合預測聯(lián)合類別估計p的熵正則項H(p_r)；

S2：根據(jù)有標簽數(shù)據(jù)的代價函數(shù)L^l(Z^l,Y^l)、無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)構建總體模型函數(shù)；

S3：使用有標簽數(shù)據(jù)的深度特征表示來構建字典，計算字典表示系數(shù)和表示殘差；

S4：根據(jù)步驟S3得到的字典表示殘差計算根據(jù)計算H(p_r)；預設熵閾值λ，若H(p_r)大于預設閾值λ，則p_r會被設為0，其監(jiān)督信號p_r將被阻擋；若H(p_r)小于等于預設閾值，則其監(jiān)督信號p_r將被傳播到深度神經(jīng)網(wǎng)絡，通過反向傳播提升深度神經(jīng)網(wǎng)絡性能；

S5：根據(jù)上述步驟得到無標簽數(shù)據(jù)的代價函數(shù)和有標簽數(shù)據(jù)的代價函數(shù)，得到總體模型函數(shù)，并通過SGD算法，利用總體模型函數(shù)對深度神經(jīng)網(wǎng)絡進行訓練；

S6：將完成訓練的深度神經(jīng)網(wǎng)絡對未知的無標簽數(shù)據(jù)進行分類處理，完成分類；

其中：(Z^l,Y^l)＝{(z_1:N,y_1:N)}表示有標簽數(shù)據(jù)的深度特征；Y^l是有標簽數(shù)據(jù)對應的標簽；y_ji＝1表示第j個有標簽數(shù)據(jù)z_j屬于第i類；N是有標簽數(shù)據(jù)的樣本數(shù)；C是類別數(shù)；Z^u＝{z_N+1:N+M}表示無標簽數(shù)據(jù)的深度特征；P＝{p_1:M}是無標簽數(shù)據(jù)的類別估計；M是無標簽數(shù)據(jù)的樣本數(shù)；表示無標簽數(shù)據(jù)第r類的深度特征；表示無標簽數(shù)據(jù)的Softmax代價函數(shù)層前面的全連接層的輸出；α表示無標簽數(shù)據(jù)深度特征在子字典上的編碼系數(shù)；D_i表示與第i類有關的子字典；

步驟S1，根據(jù)深度神經(jīng)網(wǎng)絡的Softmax代價函數(shù)構建無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)的過程如下：

C1：Softmax代價函數(shù)的Softmax歸一化輸出表示一個樣本在C個可能類別上的概率分布，其公式表示如下：

C2：令表示無標簽數(shù)據(jù)的Softmax代價函數(shù)層前的全連接層的輸出，其公式簡化如下：

C3：假設存在一個類別特定的字典D＝[D₁,D₂,…,D_C]，則無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)的表達式如下：

所述無標簽數(shù)據(jù)的代價函數(shù)L^u(Z^u,P)包括基于字典表示和Softmax網(wǎng)絡信息的聯(lián)合預測、熵正則項H(p_r)；

其中：是與第i類有關的子字典，d是深度特征的特征維數(shù)，n_i是第i類有標簽樣本的個數(shù)；表示來自Softmax分類器的網(wǎng)絡預測信息；α_ri是無標簽數(shù)據(jù)的深度特征在子字典D_i上的編碼系數(shù)；是類別估計概率，其第i個元素p_r,i表示第r個無標簽數(shù)據(jù)屬于第i類的概率，是基于類別特定表示殘差；η表示超參數(shù)，η∈(0,1]；H(p_r)聯(lián)合類別估計p的熵正則；λ表示預設閾值；是信息量，用于衡量網(wǎng)絡預測類別估計的不確定度，當為1時，則為0，即確定其預測；β表示熵正則項的權重系數(shù)，用以控制熵正則項；

基于字典表示和Softmax網(wǎng)絡信息的聯(lián)合預測其表達式如下：

其中：表示測量無標簽數(shù)據(jù)與第i類的不相似性，聯(lián)合兩種不同的信息：來自Softmax分類器的信息，其鼓勵不同類別特征間的分離性和來自字典學習的信息其鼓勵來自同一類的特征可以很好地相互表示；超參數(shù)η∈(0,1]用于平衡來自Softmax分類器的信息和來自字典學習的信息對于無標簽訓練數(shù)據(jù)，當概率p_r,i值大時，表示該無標簽數(shù)據(jù)的代價需要被重視，其提升無標簽數(shù)據(jù)的預測性能；

所述聯(lián)合類別估計p的熵正則項H(p_r)，其表達式如下：

為了能挑選高可信的無標簽數(shù)據(jù)的類別估計，以正確地訓練網(wǎng)絡，提出如下正則：

熵H(p_r)的值越大，則聯(lián)合類別估計p_r越不確定；若H(p_r)大于預設閾值λ，則p_r會被設為0，則監(jiān)督信號p_r將被阻擋；若H(p_r)小于等于預設閾值，則其監(jiān)督信號p_r將被傳播到網(wǎng)絡，通過反向傳播提升網(wǎng)絡性能。