[發(fā)明專利]一種基于Laplace函數(shù)約束的稀疏深度置信網(wǎng)絡(luò)圖像分類方法

有效

• 申請?zhí)枺?/td>: 201810417793.5
• 申請日: 2018-05-04
• 公開（公告）號: CN108805167B
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 宋威;李蓓蓓;王晨妮
• 申請（專利權(quán)）人: 江南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉

本發(fā)明提供一種基于Laplace函數(shù)約束的稀疏深度置信網(wǎng)絡(luò)圖像分類方法，屬于圖像處理、深度學習領(lǐng)域。該方法首先基于對靈長類視覺皮層分析的啟發(fā)，在無監(jiān)督階段似然函數(shù)中引入懲罰正則項，使用CD算法最大化目標函數(shù)的同時，通過Lapalce稀疏約束獲得訓練集的稀疏分布，可以使無標簽數(shù)據(jù)學習到直觀的特征表示。其次，提出一種改進的稀疏深度信念網(wǎng)絡(luò)，使用拉普拉斯分布誘導隱含層節(jié)點的稀疏狀態(tài)，同時將該分布中的尺度參數(shù)用來控制稀疏的力度。最后使用隨機梯度下降法對LSDBN網(wǎng)絡(luò)的參數(shù)進行訓練學習。本發(fā)明所提的方法即使每類在樣本很少的情況下，始終達到最好的識別準確度，并且具有良好的稀疏性能。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理、深度學習領(lǐng)域，特別是涉及一種基于Laplace函數(shù)約束的稀疏深度置信網(wǎng)絡(luò)(Laplace Sparse Deep Belief Network，LSDBN)圖像分類方法。

背景技術(shù)

現(xiàn)有的圖像分類主要是采用基于生成模型或者判別模型的方法，這些淺層結(jié)構(gòu)模型存在一定的局限性，在樣本有限的情況下復雜函數(shù)的表達能力有限，泛化能力受到一定的制約，致使模型分類效果下降；圖像數(shù)據(jù)特征存在大量噪聲和冗余信息，需要進行預(yù)處理，從而消耗大量時間和資源。因此優(yōu)異的特征提取算法和分類模型是圖像處理的一個重要研究方向。

近年來，深度學習迅速發(fā)展，Hinton等人于2006年提出了深度置信網(wǎng)絡(luò)(DeepBelief Networks，DBN)以及無監(jiān)督貪婪逐層訓練算法，解決了深度神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)的問題，引發(fā)了深度學習在學術(shù)界的新浪潮。DBN通過多層次的特征變換得到對于原始數(shù)據(jù)的抽象表示，從而提高分類和預(yù)測等任務(wù)的準確性，因DBN具有自動學習特征和數(shù)據(jù)降維的優(yōu)勢，已經(jīng)成為深度學習應(yīng)用最廣泛的網(wǎng)絡(luò)結(jié)構(gòu)，目前，DBN在語音識別、圖像分類、人臉識別等相關(guān)領(lǐng)域都取得了突破性的進展。

DBN所構(gòu)建的圖像分類算法可以集成學習各層次的特征表示，保留圖像特征的空間信息，同時利用了DBN自動學習分類特征的優(yōu)勢，避免了傳統(tǒng)提取特征算法較差的普適性。盡管DBN模型已經(jīng)取得了令人鼓舞的成就，但是在訓練過程中存在特征同質(zhì)化現(xiàn)象，即存在大量的共有特征，導致隱含層單元的后驗概率偏高，不能很好地學習到數(shù)據(jù)有用的特征表示，當隱含層單元數(shù)量過少時尤為突出。目前解決特征同質(zhì)化現(xiàn)象的方法就是調(diào)節(jié)隱含層節(jié)點的稀疏性，降低連接權(quán)值列之間的相似度，即通過在網(wǎng)絡(luò)中加入稀疏懲罰因子進行稀疏化。根據(jù)研究人類的視覺系統(tǒng)對于針對性的事物，只有少數(shù)神經(jīng)元被激活。受到該研究的啟發(fā)，研究者為了模擬視覺系統(tǒng)的稀疏表示(Sparse Representation)提出了稀疏編碼理論。

稀疏表示在計算機視覺方向上被認為不受局部變形的影響，而且在學習稀疏表示的過程中，總是關(guān)注事物最重要的特征，因此可以丟棄冗余特征，降低過度擬合以及噪音污染的影響。所以，將稀疏性引入到受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)的訓練過程來避免特征同質(zhì)化現(xiàn)象，便是一個有意義的想法。目前學者們已經(jīng)提出多種稀疏RBM模型來解決該問題，有學者試圖將隱含層單元激活概率的L0正則化引入到RBM的似然函數(shù)中，但是求解L0正則化是一個NP難問題；考慮到L1正則化是凸二次優(yōu)化問題，有學者通過將隱單元激活概率的L1正則化引入RBM的似然函數(shù)，提出新穎的稀疏深層信念網(wǎng)絡(luò)，Hinton利用交叉熵的概念提出了交叉熵稀疏懲罰因子，使得隱單元具備整體稀疏性；Lee等提出了基于誤差平方和的稀疏RBM(SP-RBM)；有學者提出基于率失真理論的稀疏RBM(SR-RBM)，但是沒有正確的方法得到SR-RBM失真度量。總之，對于DBN而言，利用RBM的變體就可以通過指定“稀疏目標”來達到二進制隱含單元的稀疏行為。但是這種方法需要事先設(shè)定“稀疏目標”，隱含層節(jié)點在某種狀態(tài)下都具有相同的稀疏程度。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提出一種基于Laplace函數(shù)約束的稀疏深度置信網(wǎng)絡(luò)圖像分類方法。

本發(fā)明的技術(shù)方案：

一種基于Laplace函數(shù)約束的稀疏深度置信網(wǎng)絡(luò)圖像分類方法，包括如下步驟：