[發明專利]一種神經網絡優化的圖像識別方法

有效

• 申請號: 201711156691.4
• 申請日: 2017-11-20
• 公開（公告）號: CN107784361B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 林宙辰;方聰
• 申請（專利權）人: 北京大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種神經網絡優化的圖像識別方法，稱為提升鄰近算子機LPOM，針對圖像數據集進行圖像處理，將神經網絡轉化為新的LPOM優化問題，再通過交替極小化方法求解LPOM優化問題；包括如下步驟：

1)將神經網絡的前向過程轉化為LPOM優化問題；執行如下操作：

11)將神經網絡的前向過程描述成式1：

s.t.Xⁱ＝φ(W^i-1X^i-1)，i＝2，3，…，n

其中，分別為樣本的數據和標簽；n₁為輸入訓練樣本特征的維度；m為訓練樣本個數；c為類別數；n為神經網絡層數；為神經網絡參數；Xⁱ(i＞1)為神經網絡第i層的輸出；φ(X)為神經網絡激活函數；L(X，T)為目標損失函數；所述樣本為圖像數據集中的圖像；

12)將式1中的等式約束轉化為一個最小化問題；

設φ(x)是單元函數，φ(X)表示對矩陣X的每個元素做φ(·)的映射；同時，設φ(x)為單調可導函數；φ^-1(x)表示φ(x)的反函數；

利用一維臨近算子將式1表示的優化問題轉化為式8表示的LPOM問題：

式8中，f(X)、g(X)分別按照式6、式7定義：

f(x)＝∫(φ^-1(x)-x)dx (式6)

g(x)＝∫(φ(x)-x)dx (式7)

式7中，函數g(x)表示矩陣X的每個元素做g(x)的映射；

13)對式8中求導，得到式9：

μ_i(φ^-1(Xⁱ)-W^i-1X^i-1)+μ_i+1W^iT(φ(WⁱXⁱ)-Wⁱ⁺¹)＝0，2≤i＜n (式9)

神經網絡的前向過程Xⁱ＝φ(W^i-1X^i-1)滿足式9；

2)求解LPOM優化問題：

采用交替極小化與求解式8，包括如下操作：

21)求解

211)首先固定通過引用兩個中間變量Zⁱ與Yⁱ(i＝2，3，…，n)，將式8改寫成式10：

s.t.Xⁱ＝Zⁱ，i＝2，3，…，n，

Yⁱ＝W^i-1X^i-1，i＝2，3，…，n，

式10的增廣拉格朗日函數表示為式11：

其中，μ_i(i＝2，3，…，n)為罰因子；和為乘子；

212)求解式11：

首先考慮優化當i＝n時，得式12：

選擇L(X，T)為簡單的平方損失函數，即得式13：

當2≤i≤n-1時，式11中的極小化問題改寫為式14：

Xⁱ的解為式15：

其中，I為對應大小的單位矩陣；

其次，式11中的極小化問題表示為式16：

采用梯度下降求解，表示為式17：

其中，L₁為的利普希茨常數；

再者，對于的極小化問題，直接有解表示為式18：

最后，更新乘子：

通過上述過程，即完成求解

22)求解

221)首先固定的極小化問題表示為式21：

采用梯度下降法求解如式22：

Wⁱ＝Wⁱ-γ(φ(WⁱXⁱ)-Xⁱ⁺¹)(Xⁱ)^T，i＝1，2，3，…，n-1 (式22)

其中，γ為步長；

通過上述步驟求解LPOM優化問題，從而完成神經網絡優化。

2.如權利要求1所述神經網絡優化的圖像識別方法，其特征是，在優化過程中，首先選擇一小批樣本求出然后對采用隨機梯度下降法進行優化，由此達到減小每步迭代的計算量的目的。