[發明專利]一種提高深度學習圖片識別算法魯棒性的方法

在審

• 申請號: 201711130625.X
• 申請日: 2017-11-15
• 公開（公告）號: CN108052959A
• 公開（公告）日: 2018-05-18
• 發明（設計）人: 蔣國平;李海濤;葛炎
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京知識律師事務所 32207
• 代理人: 李吉寬

本發明公開了一種提高深度學習圖片識別魯棒性的方法。首先對深度學習的神經網絡進行隨機初始化；然后將訓練樣本集和訓練標簽集作為輸入深度學習神經網絡，進行前向傳播輸出深度學習神經網絡認為其所屬各個類別的概率；接著將新的樣本和其標簽進行反向傳播，對深度學習神經網絡進行調優；利用測試樣本集和測試標簽集對訓練效果進行測試，輸出測試樣本集的測試準確率；最后在對訓練樣本集和訓練標簽集迭代了一定次數后，輸入驗證樣本集，并將深度學習神經網絡的輸出與驗證標簽集進行對比，輸出深度學習神經網絡的驗證準確率。本發明可以有效提高深度學習圖片識別算法魯棒性，提高深度學習圖片識別在樣本標簽標注有誤的情況下的圖片識別準確率。

技術領域

本發明屬于計算機圖像識別技術領域，涉及提高圖片識別魯棒性的一種方法，尤其是深度學習圖片識別算法魯棒性的方法。

背景技術

圖像相比與其他信息源而言，具有易于理解，信息量大，更為直接，是人類最終要的信息源。因此，用計算機對圖像進行處理具有重大的研究意義。圖像識別是圖像處理的重要組成部分。由于大數據時代的來臨和計算機處理能力的大幅提高，圖像識別開始向高級語義方向發展。圖像識別的過程分為預處理，特征提取，識別分類三個步驟。預處理能夠降低后續處理難度，提高效率。特征提取是將圖片轉化為計算機能夠識別處理的定量形式，處理的特征主要有顏色特征，紋理特征，形狀特征，SIFT(Scale-invarient FeatureTransfrom),HOG(Histogram of Oriented Gradient)等。識別分類是依據特征將圖片進行分類。圖像識別分類目前采用的算法主要有決策樹算法，貝葉斯分類器，支持向量機，人工神經網絡等。

深度學習使用層次化的模型以從低層次特征學習高層次特征。經過多層抽象學習層次化特征，深度學習可以通過映射輸入和輸出的關系來學習復雜的函數。近年來，由于數據集不斷增大，深度學習應用領域也不斷擴大。因此，深度學習得到了廣泛和深入的研究。

深度學習由神經網絡發展而來。相對于僅有一個輸入層，一個隱層，一個輸出層的淺層神經網絡而言，深度學習采用的神經網絡一般具有多個隱層，因此，有較高的非線性運算組合能力，從而具有較強的表示能力。2006年，Hinton等人提出了用于深度信任網絡(Deep Belief Network,DBN)的無監督學習算法。算法采用了貪婪逐層訓練算法，解決了因深度增加導致非凸目標函數產生局部最優解的問題。在這篇突破性論文發表后，大量學者對深度學習進行了廣泛的研究。Bengio和Ranzat提出了用無監督學習初始化每一層神經網絡。受限玻爾茲曼機(RestrictecdBoltzmanmachine,RBM)和自動編碼機(Auto-encoder)是深度學習里應用最廣的算法。總的來說，深度學習是一種通過找到數據的內部結構，發現變量之間的真正關系的算法。2006年以來，深度學習成功應用于多個領域,尤其是分類領域,如情感分類,心電圖信號分類，句子分類，等等。

近年來，深度學習的研究獲得了巨大的進步，然而，對深度學習魯棒性的研究相對較少,尤其是針對標簽有誤的情況。圖像的識別并判斷其應被打上何種標簽的問題可以轉化為圖像的分類問題。使用多層卷積神經網絡對圖片數量較大的情況下進行分類，可以取得了良好的效果。利用降噪自編碼神經網絡(Denoise auto-encoder，DAE)替代RBM對深度神經網絡進行預訓練可以取得良好的效果。另外，還提出了周期網絡神經元方法，并將其應用與場景標注。但是，這些算法假定訓練集的標簽不會發生錯誤。然而，在實際應用中，訓練集的標簽在很多場合都是人工標注，有可能發生錯誤。當標簽標注錯誤時，會導致神經網絡在被訓練時出現誤差，而且會隨著迭代次數的增加，誤差越來越大，最終影響圖片分類的效果。

發明內容

為了解決上述現有技術存在的問題，本發明提供一種提高深度學習圖片識別魯棒性的方法，該方法可以在訓練前判斷樣本的標簽是否被標注錯誤，如果判斷結果為樣本標簽標注錯誤則修改樣本的標簽，以提高深度學習圖片識別的魯棒性，提高在樣本標簽標注有錯的情況下圖片識別的準確率。