[發明專利]一種基于Laplace函數約束的稀疏深度置信網絡圖像分類方法

有效

• 申請號: 201810417793.5
• 申請日: 2018-05-04
• 公開（公告）號: CN108805167B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 宋威;李蓓蓓;王晨妮
• 申請（專利權）人: 江南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/774;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉

1.一種基于Laplace函數約束的稀疏深度置信網絡圖像分類方法，其特征在于，包括如下步驟：

步驟1、選取訓練圖像數據集，并進行圖像預處理，得到訓練數據集；

步驟2、將步驟1預處理后的訓練數據集輸入到LSDBN網絡模型中，利用對比散度算法無監督地自底向上單獨訓練每一層的LS-RBM網絡，使用下層LS-RBM網絡的輸出作為其鄰近上一層LS-RBM網絡的輸入，通過迭代訓練，得到每個LS-RBM網絡的參數值，并最終獲得所輸入圖像數據的高層次特征；所述的參數值即權值和偏置；

步驟3、將步驟2得到的參數值作為微調階段的初始值，采用自頂向下的反向傳播算法微調整個LSDBN網絡，得到LSDBN網絡模型；

步驟4、將測試圖像數據集輸入到步驟3得到的LSDBN網絡模型中，并采用Softmax分類器進行識別測試，最后輸出圖像分類結果；

所述步驟2具體為：

步驟2.1，構建LSDBN網絡模型，設置LSDBN網絡模型結構的參數值：可視層節點、隱層節點、隱含層層數、迭代次數和微調次數；其中，可視層節點為輸入的圖像集的特征維數，隱層節點根據輸入圖像集的特征維數大小確定；

步驟2.2，將預處理完的訓練數據集x作為第一個LS-RBM的輸入，采用CD算法對LS-RBM進行訓練；

(1)可視層和隱藏層之間的關系用能量函數表示為：

其中，θ表示模型中的參數，即θ＝{W_ij,a_i,b_j}；W_ij是可見層和隱藏層之間的權重矩陣，a_i為可見層節點的偏置，b_j為隱藏層節點的偏置，i為輸入的圖像的特征數量，即可視層節點，共有n個；j為隱含層節點，共有m個；v_i表示第i個可視層節點，h_j表示第j個隱含層節點；

(2)基于能量函數公式(2)，得到RBM中v和h的聯合概率分布為：

其中，Z(θ)是對所有可能的可見層節點和隱含層節點對求和，a_i為可見層節點的偏置，b_j為隱藏層節點的偏置；

利用貝葉斯公式的原理，根據公式(3)的聯合概率分布分別求出可視層單元v和隱含層h的邊緣概率分布：

利用貝葉斯公式原理以及sigmoid激活函數的定義公式，推導出可視層單元v和隱含層h的條件概率分布公式：

其中，σ(·)為sigmoid激活函數，即神經元的非線性映射函數；

利用公式(7)和公式(8)，使用對比散度算法經過一步吉布斯采樣得到訓練圖像的近似重構P(v；θ)；

(3)利用極大似然法求解P(v；θ)，得到θ的最優值；LS-RBM的似然函數為：

參數的最優值為：

添加稀疏懲罰項后，LS-RBM預訓練優化的目標函數為：

F＝F_unsup+λF_sparse (11)

其中，λ為稀疏性參數，用來調節F_sparse的相對重要性，F_sparse表示稀疏正則化函數，公式為：

其中，L(q_j,p,u)為拉普拉斯概率密度函數，q_j表示所給數據第j個隱含層單元的條件期望的平均值，p是一個常數，控制n個隱單元h_j的稀疏度；u表示尺度參數；q_j表達式如下：

其中,E(·)是給定數據時第j個隱含層單元的條件期望，l表示訓練圖像的張數，m是訓練圖像數據集的數量，為第l張圖片對應的隱含層的第j個單元，v^(l)為第l張圖片對應的可視層單元，是給出可見層v時，隱藏層單元h_j的激活概率，g是sigmoid函數，σ_j表示隱含層單元j的輸入；

增加稀疏正則化項后，訓練LS-RBM的目的為求解公式(10)的目標函數最優值：

其中，P(v^(l))為LS-RBM所要優化的似然函數，即可視層v的分布P(v；θ)；

(4)使用梯度下降法對LS-RBM的目標函數求導來更新權重矩陣和隱含層的偏置，求導公式為：

將求導后的參數值帶入到參數θ的更新式中，得到新的參數值：

a⁽¹⁾:＝ma+α(v₁-v₂) (26)

其中，α為學習速率；

(5)用新的參數值繼續訓練網絡，通過不斷優化目標函數，使隱含層單元的激活概率逐漸接近給定的固定值p，學習到一組權重參數以及相應的偏置，通過這些合適的參數尋找到稀疏特征向量，控制圖像中存在的冗余特征，用圖像中主要的特征來組合學習權重以重構輸入數據，完成第一個LS-RBM的訓練以及相應的參數值θ的更新；

步驟2.3通過第一個LS-RBM訓練好的W⁽¹⁾和b⁽¹⁾，并使用P(h⁽¹⁾|v⁽¹⁾,W⁽¹⁾,b⁽¹⁾)得到第二個LS-RBM的輸入特征，使用步驟2.2中算法繼續訓練第二個LS-RBM；

步驟2.4遞歸的按照以上步驟訓練直到訓練到l-1層，多次循環迭代之后，得到一個深層次的稀疏DBN模型，即LSDBN網絡模型；

步驟2.5對l層的W^(L)和b^(L)進行初始化，并使用{W⁽¹⁾,W⁽²⁾,…，W^(L)}和{b⁽¹⁾,b⁽²⁾,…,b^(L)}組成一個具有L層的深度神經網絡，輸出層為訓練圖像集的標簽數據，使用Softmax分類器作為輸出層。