[發明專利]基于隱式歐拉跳躍連接的殘差神經網絡的圖像識別方法

有效

• 申請號: 202010133492.7
• 申請日: 2020-02-28
• 公開（公告）號: CN111401155B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 林宙辰;李明杰;何翎申
• 申請（專利權）人: 北京大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/56;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于含有隱式歐拉跳躍連接的殘差神經網絡模型的圖像識別方法，將隱式歐拉數值方法與殘差網絡模型中的跳躍連接相結合，建立具有更強魯棒性的改進模型：含有隱式歐拉跳躍連接的殘差神經網絡，該改進模型的輸入為圖像數據及所對應的標簽，輸出為圖像的預測分類，由此實現更加穩定的圖像識別；

包括如下步驟：

1)首先將圖像數據分為訓練樣本與測試樣本；

2)對訓練樣本進行圖像增強預處理；

3)構建網絡模型進行訓練：選擇網絡模型的寬度、深度和殘差模塊的具體結構；然后利用隱式歐拉跳躍連接得到含有隱式歐拉跳躍連接結構的殘差網絡模型；將經過預處理的訓練樣本輸入含有隱式歐拉跳躍連接結構的殘差網絡模型進行訓練，得到訓練好的含有隱式歐拉跳躍連接的殘差神經網絡模型；

包括如下過程：

31)構造含有隱式歐拉跳躍連接的殘差神經網絡，包括如下操作：

311)構造隱式歐拉跳躍連接結構IE-Skips：將現有殘差跳躍連接通過多次梯度下降迭代來近似數值ODE中的隱式歐拉算法，由此得到改進的殘差網絡中的跳躍連接IE-Skips，并在殘差神經網絡模型中使用改進的殘差網絡中的跳躍連接，提高神經網絡模型的魯棒性；

構造隱式歐拉跳躍連接結構IE-Skips，具體包括如下過程：

3111)將殘差神經網絡的第k個階段的輸出x_k和第k+1個階段的輸出x_k+1的關系表示為式1：

x_k+1＝x_k+f_k+1(x_k) 式1

其中，f_k+1(·)表示第k+1個階段的殘差模塊；x_k為第k個階段的輸出；x_k+1為第k+1個階段的輸出；操作“x_k+”為殘差網絡中的跳躍連接結構，該結構對應于數值ODE的顯式歐拉方法；

3112)將含有隱式歐拉跳躍連接結構的殘差網絡的第k個階段的輸出x_k出和第k+1個階段的輸出x_k+1的關系表示為式2：

x_k+1＝x_k+f_k+1(x_k+1) 式2

其中，f_k+1(·)表示第k+1個階段的殘差模塊；x_k為第k個階段的輸出；x_k+1為第k+1個階段的輸出；

3113)在式1表示的殘差神經網絡的基礎上，引入非線性最小二乘優化到神經網絡的前饋過程，即優化x_k+1使其最小，由此使得在神經網絡中逼近式2所表示的隱式歐拉方法，表示為式3：

其中，f_k+1(·)表示第k+1個階段的殘差塊；x_k為第k個階段的輸出；x_k+1為第k+1個階段的輸出；

312)將IE-Skips與其他任意的殘差神經網絡族中的神經網絡模型相結合，構成含有隱式歐拉跳躍連接的殘差神經網絡，使得所述含有隱式歐拉跳躍連接的殘差神經網絡達到更好的模型表達和泛化能力，顯著提高采用神經網絡模型進行圖像識別的魯棒性；

32)將經過預處理的訓練樣本輸入含有隱式歐拉跳躍連接結構的殘差網絡模型進行訓練，包括如下過程：

先將步驟2)預處理的數據輸入步驟31)構建的含有隱式歐拉跳躍連接結構的殘差網絡模型；

然后根據輸出結果訓練標簽和損失函數計算得到損失；

接著根據計算得到的損失計算網絡模型中具體參數的梯度并更新參數；

重復迭代上述過程，直到損失收斂或達到迭代次數上限為止，即得到訓練好的含有隱式歐拉跳躍連接結構的殘差網絡模型；

4)利用步驟3)構建并訓練好的魯棒的含有隱式歐拉跳躍連接結構的深度殘差網絡模型，對待測的測試圖像樣本進行圖像識別，即得到預測的分類標簽；由此實現圖像的分類識別；其中，所述測試圖像樣本無需進行復雜預處理，只需將測試圖像樣本通過中心裁剪成網絡模型所要求的大小即可。