[發明專利]一種基于字典深度學習的半監督圖像分類方法

有效

• 申請號: 201811407450.7
• 申請日: 2018-11-23
• 公開（公告）號: CN109522961B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 楊猛;陳家銘
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/778;G06V10/82;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開了一種基于字典深度學習的半監督圖像分類方法，該方法步驟如下：根據深度神經網絡的Softmax代價函數構建有標簽數據的代價函數L^l(Z^l,Y^l)、無標簽數據的代價函數L^u(Z^u,P)：根據有標簽數據的代價函數L^l(Z^l,Y^l)、無標簽數據的代價函數L^u(Z^u,P)構建總體模型函數；使用交替優化算法以訓練總體模型，訓練優化過程包括：基于字典學習和Softmax網絡信息的聯合類別估計、神經網絡和無標簽類別估計的聯合學習。本發明用字典學習與深度神經網絡的Softmax分類器結合，強化了深度神經網絡對無標簽數據的探索能力，極大地提升網絡特征學習能力和分類器學習能力。本發明適用于計算機視覺或模式識別領域。

技術領域

本發明涉及計算機視覺和模式識別領域，更具體的，涉及一種基于字典深度學習的半監督圖像分類方法。

背景技術

在計算機視覺和模式識別領域，圖片分類是視覺技術中的基礎。深度神經網絡憑借其強大的特征表示能力和與人類視覺系統的相似架構，在圖片分類任務中取得巨大的成功，引起研究者的廣泛關注。為了提高圖片分類精度，需要不斷研發更強大更復雜的深度神經網絡。但是，深度神經網絡的成功嚴重依賴于大量有標簽數據，而且越復雜的神經網絡架構對標簽數據的需求越大。但是，有標簽數據的獲取，需要通過大量人力去進行標注，非常地耗時耗力。當缺乏大量數據時，深度神經網絡會出現稱為“過擬合”的嚴重機器學習問題。與此同時，由于傳感器與網絡媒體技術的發展，無標簽數據非常豐富而且更易于獲取。因此，如何利用少量的有標簽數據和豐富的無標簽數據來訓練出具有良好性能的深度神經網絡非常關鍵。

因此半監督機器學習方法開始被引入深度學習領域中。傳統的半監督方法致力于同時而有效地利用有標簽數據和無標簽數據，通常分為4類：協同訓練方法，基于圖的半監督學習，半監督支持向量機，半監督字典學習，盡管這些傳統的半監督方法在一定的假設條件下，確實可以提升模型性能，但是傳統的半監督方法通常都是在給定的特征下進行，其特征抽取過程獨立于分類器的學習過程。在給定特征不滿足分類器的假設情況下，半監督方法沒有提升模型性能，甚至會出現損害。盡管半監督字典方法可以把無標簽數據吸收到判別性字典學習中，但是卻無法抽取有效的特征，因此無法很好地估計無標簽數據的類別。而現存的半監督深度學習方法，如Lee等在2013年提出的Pseudo-Label,雖然可以高層抽象特征，但卻無法探索無標簽數據內在的判別性信息。

發明內容

本發明為了解決深度神經網絡能獲取有標簽數據的有效特征，卻無法獲取無標簽數據和半監督字典方法能把無標簽數據吸收到判別性字典學習中，卻無法抽取無標簽數據的有效特征的問題，提供了一種基于字典深度學習的半監督圖像分類方法，其使用字典學習與傳統深度神經網絡的Softmax分類器進行互補，能對無標簽數據同時進行特征學習和分類器學習，極大地提升網絡性能。

為實現上述本發明目的，采用的技術方案如下：一種基于字典深度學習的半監督圖像分類方法，該方法步驟如下：

S1：構建深度神經網絡，根據深度神經網絡的Softmax代價函數構建有標簽數據的代價函數L^l(Z^l,Y^l)、無標簽數據的代價函數L^u(Z^u,P)，所述無標簽數據的代價函數L^u(Z^u,P)包括基于字典表示和Softmax網絡信息的聯合預測聯合類別估計p的熵正則項H(p_r)；

S2：根據有標簽數據的代價函數L^l(Z^l,Y^l)、無標簽數據的代價函數L^u(Z^u,P)構建總體模型函數；

S3：使用有標簽數據的深度特征表示來構建字典，計算字典表示系數和表示殘差；